Humanos sintéticos: do SURREAL ao BEDLAM

ANÁLISE DE PAPER

Do SURREAL (6,5 milhões de frames) ao BEDLAM, a linha de Michael Black mostra quando humanos sintéticos igualam o real, quando não, e o que falta.

O grupo de Michael J. Black, no Max Planck Institute for Intelligent Systems, tem uma das linhas de pesquisa mais longas em humanos sintéticos: do modelo de corpo SMPL ao SURREAL, ao AMASS e ao BEDLAM. Vale ler os números de dois desses trabalhos. Eles mostram que o sintético pode igualar o real em algumas tarefas, não em todas, e dizem o que ficou de fora.

O que a linha de pesquisa fez

• SMPL (2015). Um modelo paramétrico do corpo humano. Pose e forma viram números, e o corpo vira um objeto 3D que se anima.
• SURREAL (2017). Feito com o Inria. Em Learning from Synthetic Humans, os autores renderizaram 6.536.752 frames, em 67.582 clipes, a partir de 2.607 sequências de captura de movimento e 145 sujeitos. Cada frame vem com pose 2D e 3D, profundidade, segmentação por parte do corpo e fluxo óptico. Roupas (930 texturas) e fundos (cerca de 400 mil imagens do LSUN) variam por clipe, e os movimentos vêm do banco CMU MoCap.
• AMASS (2019). Um arquivo de captura de movimento que unifica 15 conjuntos de mocap em um formato comum: mais de 40 horas, mais de 300 sujeitos e mais de 11.000 movimentos.
• BEDLAM (CVPR 2023). Um dataset sintético com cerca de 380 mil frames RGB, de 1 a 10 pessoas por imagem. Usa 111 roupas simuladas, 1.691 texturas de roupa, 27 penteados, 100 peles e 2.311 movimentos do AMASS, em cenas renderizadas no Unreal Engine 5.

O que os resultados mostram

SURREAL, treinando só com sintético e testando em dado real:

• Em segmentação no Human3.6M, o sintético ficou perto do real, mas abaixo: 46,35% de IoU contra 49,61% do treino só com dado real. Treinar no sintético e ajustar com o real deu 57,07%.
• No Freiburg Sitting People, o sintético sozinho (40,10%) superou o real sozinho (28,77%). Os autores explicam que o modelo treinado só com real, que tem poucos sujeitos e pouca variação de roupa, aprendia mais a cor da pele do que as partes do corpo.

BEDLAM, treinando só com sintético:

• No 3DPW, o erro de pose (PA-MPJPE) do BEDLAM-CLIFF foi 46,6 mm, contra 46,4 mm do mesmo método treinado com imagens reais. Praticamente empate.
• No RICH, foi melhor: 51,2 mm contra 55,7 mm.
• Os autores destacam que até o método simples HMR, treinado no BEDLAM, chegou perto do CLIFF, e sugerem que dados melhores podem pesar mais que arquitetura. Ajustar com o treino do 3DPW baixou o erro do BEDLAM-CLIFF de 46,6 para 43,0 mm.

O padrão é parecido nos dois: o sintético vale muito, mas o ajuste final com dado real continua ajudando.

O limite: o que cada resultado cobre

• Cada resultado é de uma tarefa e de um benchmark. Empate no 3DPW e vitória no RICH não viram regra para outros domínios. O CLIFF “só real” do BEDLAM foi treinado pelos próprios autores, com a mesma configuração.
• O teste do SURREAL é simples. Os autores admitem que Freiburg e Human3.6M têm pouco fundo complexo e poucos sujeitos. No Human3.6M, o gabarito não foi anotado à mão: vem do ajuste de um corpo SMPL aos dados de captura de movimento.
• O que os autores listam como limite: o SURREAL não modela deformação de roupa e integra mal o fundo com a luz da cena. O BEDLAM tem poucas poses sentadas e deitadas, não modela interação entre pessoas ou com objetos, não tem física de cabelo, nem crianças ou corpos com amputações. Parte dos ativos comerciais não pôde ser usada, porque as licenças proíbem treinar redes neurais.
• A cobertura é a que o laboratório consegue modelar. Corpos avançaram porque havia um modelo de corpo. Para peças, solo, tecido ou ferramentas, esse modelo ainda precisa ser construído, e isso não está nos papers.

O que muda com uma cena controlada

O que SURREAL e BEDLAM fazem é construir a cena e extrair o rótulo dela:

• O rótulo nasce da cena. Pose, profundidade e máscara vêm do mesmo lugar que o pixel.
• A variação é declarada. Roupa, câmera, luz e fundo mudam por parâmetro, e os autores dos dois papers escolheram quais variar.
• A escala é orçamento de computação, não de anotação manual.

O que os próprios autores mostram é o outro lado: o que não foi declarado na cena (crianças, interação, cabelo) não existe no treino. Por isso o método importa tanto quanto o gerador: decidir o que cobrir, quanto realismo cada ponto pede e como validar com dado real. Para um exemplo industrial do mesmo raciocínio, veja a análise sobre inspeção de qualidade com dados sintéticos.

O que levar para o seu projeto

• Pergunte o que o benchmark cobre. “Igualou o real no 3DPW” é um dado sobre o 3DPW, não sobre o seu problema.
• Liste o que a sua cena não inclui. Os papers listam os próprios buracos; faça o mesmo antes de treinar.
• Mantenha um ajuste final com dado real. Nos dois trabalhos, ele ainda acrescentou.

O seu setor ainda não tem um modelo pronto como o SMPL? Conte para nós em uma conversa de diagnóstico. Se dado sintético não for o caminho, dizemos isso também.

Fontes

• Varol, G. et al. Learning from Synthetic Humans (SURREAL). CVPR 2017 (arXiv 1701.01370).
• Mahmood, N. et al. AMASS: Archive of Motion Capture as Surface Shapes. arXiv 1904.03278, 2019.
• Black, M. J. et al. BEDLAM: A Synthetic Dataset of Bodies Exhibiting Detailed Lifelike Animated Motion. arXiv 2306.16940, 2023.