ANÁLISE DE PAPER
O Infinigen (Princeton, CVPR 2023) gera cenas naturais 3D só por regras, sem assets externos. Veja o que o paper mediu, o que não mediu e o custo.
O Infinigen, de Raistrick e colegas (Princeton, CVPR 2023), é um gerador procedural de cenas 3D do mundo natural: tudo, da forma à textura, nasce de regras matemáticas aleatórias, sem nenhum asset externo. É um recurso aberto e valioso. A pergunta útil para quem vai usá-lo é o que o paper de fato mediu.
O que o Infinigen faz
- Totalmente procedural. Cada asset é gerado do zero por regras aleatórias, sem bibliotecas de modelos ou texturas de terceiros. Os autores contrastam isso com a maioria dos datasets sintéticos, que usam bibliotecas estáticas de assets.
- Mundo natural. Plantas, animais, terrenos, rochas, água e fenômenos como fogo, nuvem, chuva e neve. A escolha é deliberada: os autores dizem que os datasets sintéticos existentes cobrem sobretudo cenas urbanas, de direção e de interiores.
- Geometria real. Detalhes como a rugosidade de uma superfície são geometria de verdade, não truques de textura, o que permite um rótulo geométrico exato.
- Rótulos vindos da cena. Profundidade, normais, bordas de oclusão, segmentação por instância, caixas 2D e 3D e fluxo óptico.
- Aberto. Construído sobre o Blender, com licença BSD. Segundo a Tabela 2, são 182 geradores e cerca de 1.070 parâmetros interpretáveis, número que os autores tratam como indicador de diversidade e admitem que pode ser uma superestimativa, já que os parâmetros não são todos independentes.
O que os resultados mostram
O paper valida os dados com um teste de estéreo: 30 mil pares de imagens do Infinigen, treinando do zero a rede RAFT-Stereo, comparada com a mesma rede treinada em outros datasets sintéticos.
- Em cenas do próprio Infinigen (400 pares independentes, sem assets em comum com o treino), o modelo treinado no Infinigen teve o menor erro (Bad 3.0 de 5,53%), contra 6,50% do TartanAir, 7,84% do SceneFlow e 25,28% do InStereo2K. Os autores avisam que isso só vale como medida se o desempenho no Infinigen for um bom indicador do mundo real.
- Em fotos reais de natureza, a avaliação é qualitativa: não existe benchmark real de profundidade para cenas naturais, e escanear um ambiente natural com 3D de alta precisão é impraticável. Os autores mostram mapas de disparidade de imagens que eles fotografaram com uma câmera estéreo ZED 2 e dizem que o modelo treinado só no Infinigen funciona bem em zero-shot e melhor que os treinados em outros conjuntos.
- No benchmark Middlebury (interiores cheios de objetos feitos pelo homem), o resultado é misto, e os autores dizem isso: média de 29,7% de erro, atrás do SceneFlow (25,0%) e perto do InStereo2K (29,5%). No único cenário natural do conjunto (Jadeplant), o Infinigen teve o melhor resultado: 35,2%, contra 41,3% do SceneFlow e 43,3% do FallingThings.
- Custo de gerar: em média, 3,5 horas de relógio para um par de imagens 1080p, com cerca de uma hora de GPU e 24 GB de memória, em 2 CPUs Xeon e 1 GPU. Mais CPUs reduzem o tempo. A cena completa média tem 16 milhões de polígonos.
O limite: um teste, e o custo
- A validação é um experimento de estéreo, e o corpo do paper não traz seção de limitações. As ressalvas aparecem nas legendas e no apêndice. Os resultados não cobrem detecção, segmentação ou outras tarefas citadas como uso possível, e o ganho medido em fotos reais é qualitativo, com imagens escolhidas pelos autores.
- O modelo treinado só em natureza vai pior em interiores. Os próprios autores explicam: objetos naturais têm poucas superfícies planas e sem textura, que o Middlebury exige.
- A avaliação em cenas do próprio Infinigen favorece o próprio Infinigen. O resultado mostra que a distribuição é diferente das dos outros datasets, como os autores concluem, e que ele é um bom complemento, e não um substituto.
- Relações ecológicas simples. O gerador usa regras como “cactos crescem em desertos”, mas relações complexas, como predador e presa ou plantas que evitam sombra, não estão modeladas, segundo o apêndice.
- A hipótese de que o mundo natural basta para treinar modelos de fundação é uma conjectura dos autores, sem teste no paper.
- Custo. Horas por par de imagens é um custo real de planejar.
O que muda com uma cena controlada
Esta seção é leitura nossa. O Infinigen resolve diversidade de cenas naturais por regras. Quando o problema é um objeto específico de uma peça, de uma linha ou de uma câmera, o que importa é representar aquele objeto e as condições em que ele aparece. Isso se resolve com uma cena construída para o caso, e a variedade procedural pode entrar como fundo ou como parte do pipeline, como ferramenta aberta e não como concorrente.
O mesmo vale para a escolha do que medir. O paper deixa claro que ganha onde a cobertura era ruim (cenas naturais) e perde onde o objeto é feito pelo homem. Um dataset de inspeção industrial está do lado em que o Infinigen, por construção, não tem cobertura.
O Geo4D tem um raciocínio parecido, de rótulo geométrico vindo da cena e treino só em sintético, em outra tarefa.
O que levar para o seu projeto
- Veja onde o gerador tem cobertura. Um gerador procedural de natureza ajuda em natureza, e o próprio paper mostra piora em ambientes de interior.
- Confira como o ganho foi medido. Aqui, em imagens do próprio gerador e em fotos reais avaliadas qualitativamente. Meça no seu domínio, com um benchmark seu.
- Inclua o custo de gerar no plano. Horas por imagem de alta resolução mudam o tamanho do dataset que você consegue produzir.
Tem um objeto ou um ambiente específico que os geradores gerais não cobrem? Conte para nós em uma conversa de diagnóstico. Se dado sintético não for o caminho, dizemos isso também.
Fontes
- Raistrick, A. et al. Infinite Photorealistic Worlds using Procedural Generation. arXiv:2306.09310v2; CVPR 2023.
- Projeto Infinigen: código, vídeos e dados pré-gerados.
Deixe um comentário