DAViD da Microsoft: visão treinada só com sintético

ANÁLISE DE PAPER

O DAViD, da Microsoft, treina profundidade, normais e máscara de pessoas com 300 mil imagens sintéticas. Veja os números, onde ele fica atrás e o limite.

O DAViD (Saleh et al., Microsoft, 2025) treina modelos de visão para pessoas usando apenas imagens sintéticas: 300 mil imagens, com rótulos de profundidade, normais de superfície e máscara de primeiro plano. O paper compara os resultados com modelos muito maiores, e é nessa comparação que está o que vale ler, inclusive onde o DAViD fica atrás.

O que o DAViD faz

O DAViD adapta o Dense Prediction Transformer (DPT) para três tarefas densas sobre pessoas: profundidade relativa, normais de superfície e segmentação suave de primeiro plano. Os modelos compartilham dataset e arquitetura, mudando só o número de canais de saída, e o paper testa três tamanhos (Small, Base e Large, este com 0,34 bilhão de parâmetros).

Os dados vêm do SynthHuman, um dataset sintético criado pelos autores:

• 300 mil imagens de 384×512, divididas igualmente entre rosto, tronco e corpo inteiro.
• Rótulos exatos em cada imagem: profundidade, normais e máscara suave, incluindo detalhes como cabelo e roupa.
• Treino: 100 épocas por tarefa nas 300 mil imagens, em uma máquina com 4 GPUs A100. O encoder ViT recebe sempre 384×384 e um módulo leve (Resizer) cuida de outras resoluções.
• Custo de geração: 72 horas de renderização em 300 máquinas com GPUs M60, o que o paper equipara a cerca de 2 semanas de uma máquina com 4 GPUs A100.

O que os resultados mostram

Os modelos são avaliados em dois conjuntos de imagens reais, Goliath e Hi4D. O paper compara principalmente com a família Sapiens, que pré-treina em 300 milhões de imagens reais e, segundo os autores, levou 18 dias em 1.024 GPUs A100 para o maior modelo (Sapiens-2B, 2,16 bilhões de parâmetros).

• Profundidade (Tabela 1): o DAViD-Large (0,34B, 663 GFLOPs) tem o menor RMSE em Hi4D, 0,072, contra 0,095 do Sapiens-2B (8.709 GFLOPs). Em Goliath, ganha no rosto (0,140 contra 0,158) e perde no tronco e no corpo inteiro (0,283 e 0,334 contra 0,204 e 0,266). Na média dos quatro conjuntos, o Sapiens-2B tem o menor RMSE (0,170 contra 0,191) e o DAViD-Large, o menor AbsRel (0,012 contra 0,015). O paper resume que o DAViD-Large tem desempenho equivalente ao do Sapiens-2B e roda cerca de 16 vezes mais rápido (medido em MACs), além de superar o Depth-Pro. Os autores citam cerca de 48 quadros por segundo em uma A100.
• Normais (Tabela 2): o resultado é mais modesto. O DAViD-Large fica atrás do Sapiens-2B no erro angular médio nos três recortes de Goliath (por exemplo, 17,15° contra 16,04° no rosto) e em Hi4D (15,37° contra 12,14°). Contra o Sapiens-0.3B, de tamanho parecido, o resultado é dividido: o DAViD-Large tem erro médio menor no rosto (17,15° contra 18,86°) e no corpo inteiro (14,60° contra 15,72°) e maior no tronco (13,96° contra 12,54°) e em Hi4D (15,37° contra 15,04°). O texto do paper fala em desempenho “em pé de igualdade” com os maiores modelos e atribui parte do erro a um ground truth de teste ruidoso e grosseiro, sem detalhes como o interior da boca e rugas.
• Máscara suave (Tabela 3): em PhotoMatte85, SAD de 5,85 contra 13,94 do MODNet; em PPM-100, 78,17 contra 104,35. Os autores avisam que a tarefa deles não é matting completo e que usaram esses conjuntos por falta de benchmark melhor; um dos métodos comparados é otimizado para matting em tempo real e mais eficiente.
• O que importa nos dados (Tabela 4): com o mesmo modelo Large e datasets renderizados de tamanho parecido, o RMSE de profundidade em Goliath foi 0,495 com THuman2.1, 0,278 com RenderPeople e 0,253 com o SynthHuman. Ou seja, a comparação é entre fontes sintéticas (as duas primeiras baseadas em scans), e não entre sintético e real. Com 60 mil imagens o modelo Base já fica razoável (RMSE 0,324), e melhora com 150 mil (0,305) e 300 mil (0,278).

O limite

• Um domínio: pessoas (rosto, tronco, corpo). Nada aqui foi testado em peças industriais, veículos ou cenas agrícolas.
• Teste pequeno e específico: Goliath tem 4 indivíduos (2.272 amostras de teste, em 3 recortes) e Hi4D, 1.195 imagens com 6 sujeitos. Na Tabela 2 (normais), os números da Hi4D dos outros modelos foram tirados do paper do Sapiens.
• Não é “sintético contra real”: o Depth-Pro, por exemplo, foi treinado em datasets genéricos que incluem dados sintéticos humanos (BEDLAM), como o próprio paper observa. A comparação é com modelos de custo muito maior, e não com um modelo treinado só em real.
• Normais ficam atrás do maior modelo, e os autores reconhecem que o ground truth de teste (Goliath e Hi4D) é ruidoso, o que pode esconder diferenças.
• Falhas declaradas: iluminação extrema e escalas raras, como um bebê no colo de um adulto, em que a mão grande é percebida como mais próxima da câmera que o rosto.
• Viés: o paper reconhece que o modelo pode ter acurácia menor para alguns grupos demográficos, que há aspectos da diversidade humana ainda não representados no dataset e que pode haver falta de equidade ainda não descoberta.

O que muda com uma cena controlada

Esta seção é a nossa leitura, não a do paper. Profundidade, normais e máscara saem do próprio render, no nível de detalhe da malha (cabelo e roupa incluídos), sem a imprecisão de um scan ou de uma anotação manual. É isso que a Tabela 4 sugere: a fidelidade do rótulo e a diversidade das amostras pesam mais que o volume. Na mesma linha, os autores destacam que o controle sobre o dado facilita verificar privacidade, direitos autorais, licenciamento e consentimento, e corrigir desequilíbrios que a avaliação revelar. O custo é que a lacuna para o real continua existindo, e os casos de falha do próprio paper são justamente o que a receita da cena ainda não cobria.

O que levar para o seu projeto

• Qualidade e diversidade do rótulo valem mais que volume. No paper, 300 mil imagens renderizadas com bom rótulo superam datasets de tamanho parecido de outras fontes sintéticas.
• Leia a tabela, não a manchete. O DAViD empata ou ganha em profundidade, fica atrás do Sapiens-2B em normais, e a vantagem em custo é o ponto central da comparação.
• Meça em imagens reais do seu caso e documente os grupos e situações cobertos. Os limites do paper (escala rara, luz extrema, diversidade) mostram onde procurar.

---

Tem um problema de visão para pessoas ou outro domínio no seu caso? Conte para nós em uma conversa de diagnóstico. Se dado sintético não for o caminho, dizemos isso também.

Fontes

• Saleh, F., Aliakbarian, S., Hewitt, C., Petikam, L., Xiao-Xian, Criminisi, A., Cashman, T. J., Baltrušaitis, T. DAViD: Data-efficient and Accurate Vision Models from Synthetic Data. arXiv 2507.15365, 21 de julho de 2025. Código, dataset e modelos em aka.ms/DAViD, conforme o paper.