Geo4D: reconstrução 4D treinada só com sintético

ANÁLISE DE PAPER

O Geo4D (ICCV 2025) reconstrói cenas 4D de vídeo monocular, treinado só com dados sintéticos. Veja os números em vídeos reais e onde ele falha.

O Geo4D (Jiang, Zheng, Laina, Larlus e Vedaldi, Oxford e Naver Labs Europe; ICCV 2025) reconstrói a geometria 3D de uma cena em movimento a partir de um vídeo de uma única câmera, e é treinado apenas com dados sintéticos. Vale ler com a ressalva certa: o que o paper mostra é um resultado específico, em benchmarks específicos, e não uma regra de que sintético vence real.

O que o Geo4D faz

O ponto de partida é um gerador de vídeo por difusão pré-treinado (o DynamiCrafter), ajustado para prever geometria em vez de pixels. De cada trecho de 16 quadros, o modelo prevê três representações complementares: mapas de pontos 3D, mapas de disparidade (profundidade relativa) e mapas de raios da câmera. Um algoritmo de alinhamento multimodal funde as três, e uma janela deslizante (passo 4 no resultado principal) costura os trechos em uma reconstrução coerente de todo o vídeo.

O ajuste usa cinco datasets sintéticos: BEDLAM, TartanAir, PointOdyssey, Spring e Virtual KITTI 2, somando cerca de 1,6 milhão de quadros (TartanAir tem 1.000 mil, BEDLAM 380 mil). O treino levou cerca de uma semana em 4 GPUs NVIDIA H100.

O que os resultados mostram

Na estimativa de profundidade em vídeo (Tabela 1, protocolo do MonST3R, com um único fator de escala por vídeo), o Geo4D ficou à frente dos baselines nos três benchmarks, dois deles com vídeo real:

• KITTI (direção, real): Abs Rel 0,086, contra 0,104 do DepthCrafter e do MonST3R; δ<1,25 de 93,7% contra 89,6% e 89,5%.
• Bonn (interior dinâmico, real): Abs Rel 0,059, contra 0,071 do DepthCrafter e 0,063 do MonST3R. No δ<1,25 há empate com o DepthCrafter, 97,2%.
• Sintel (sintético): Abs Rel 0,205, contra 0,270 do DepthCrafter. Segundo o paper, são 24,0% a menos em Sintel e 17,3% a menos em KITTI em relação ao DepthCrafter, que parte do mesmo gerador de vídeo.

Na pose de câmera (Tabela 2), o resultado é misto, e o próprio paper o chama de comparável: a rotação (RPE-R) é a melhor nos dois conjuntos, Sintel (0,547 contra 0,615 do CasualSAM) e TUM-dynamics (0,635 contra 1,217 do MonST3R). Já o erro de translação (ATE e RPE-T) é pior que o do MonST3R e o do CasualSAM nos dois conjuntos; em Sintel, por exemplo, o ATE é 0,185 contra 0,108 do MonST3R.

A ablação (Tabela 3, em Sintel) mostra que treinar com as três modalidades rende mais que só com mapas de pontos, e que fundir as três na inferência supera usar uma sozinha.

O limite

• “Só sintético” vale para o ajuste 4D. O gerador de vídeo de partida foi pré-treinado em vídeo real em larga escala, e o paper atribui a ele boa parte da generalização. O experimento de treinar o mesmo modelo com dados reais não aparece.
• Escopo: profundidade e pose em vídeo, em Sintel, Bonn, KITTI e TUM-dynamics, com 50 a 110 quadros por sequência na profundidade e 14 sequências dinâmicas de Sintel na pose. Detecção, segmentação e outras tarefas ficam fora.
• Os próprios autores apontam três limitações: o codificador/decodificador de mapas de pontos ainda não é totalmente preciso e limita a qualidade; o método tem dificuldade com mudanças grandes de distância focal e movimento extremo de câmera, provavelmente porque o treino quase não tem variação de foco; e só aceita vídeo monocular.
• Custo de inferência: 1,89 s por quadro no passo 4 (o MonST3R leva 2,41 s nas condições deles).

O que muda com uma cena controlada

Esta seção é a nossa leitura, não a do paper. Em tarefa geométrica, o rótulo (profundidade, pose, correspondência) sai da própria cena, sem ruído de sensor, e é isso que torna viável treinar em escala sem coletar vídeo anotado. A limitação que os autores citam também aponta para o que a cena controlada resolve: se faltam variações de foco e movimentos extremos, é possível gerá-los de propósito. O ponto de atenção é que a simulação também embute viés: o resultado em Sintel, que é sintético, não substitui o teste em vídeo real da sua aplicação.

O que levar para o seu projeto

• Em tarefa de rótulo geométrico denso, sintético é um ponto de partida sério, mas aqui ele soma com um gerador pré-treinado em vídeo real. Não é “só sintético” de ponta a ponta.
• Olhe o que o benchmark mede. O ganho do Geo4D é em profundidade e em rotação; a translação da câmera ficou atrás de outros métodos.
• Mapeie o que falta no seu dado de treino (foco, movimento, tipo de cena) e use a cena controlada para cobrir justamente isso, medindo em um conjunto real pequeno.

---

Tem um problema de profundidade, pose ou movimento no seu caso? Conte para nós em uma conversa de diagnóstico. Se dado sintético não for o caminho, dizemos isso também.

Fontes

• Jiang, Z., Zheng, C., Laina, I., Larlus, D., Vedaldi, A. Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction. arXiv 2504.07961v2, 2025; ICCV 2025.