Introdução à geração de dados sintéticos

FUNDAMENTOS

O que são dados sintéticos, o que a literatura mostra, quando compensam e onde não funcionam. Guia de primeira viagem para times de visão computacional.

Dados sintéticos são imagens e anotações geradas por computador, em vez de coletadas no mundo real. Este post é o mapa de primeira viagem: o que são, o que a literatura já mostrou, quando compensam e onde não resolvem.

O que são dados sintéticos

Em vez de fotografar o mundo, você constrói a cena (objetos, luz, câmera, fundo) e renderiza. Caixas, máscaras, profundidade e pose podem sair da própria cena, junto com o pixel. Há três jeitos de obter dados de treino, e a diferença entre eles decide quase tudo:

• Coleta real: o mundo decide o que há na cena, e a anotação vem depois, à mão, com custo e ruído.
• Geração com IA generativa: um modelo produz imagens plausíveis. O rótulo de classe pode vir do prompt, mas caixas e máscaras precisam ser estimadas depois e podem não bater com o pixel.
• Simulação 3D: você decide o que há na cena, e o rótulo nasce com o render. Ele é especificado, não inferido.

[imagem: compare-1024×285.webp] Figura 1. Real e sintético: à esquerda, uma foto de um carro; à direita, o mesmo modelo numa cena 3D no Blender. Fonte: SynthVision (render 3D); foto: [crédito a confirmar].

Quando compensa, e o que a literatura mostra

Os sinais de que vale a pena são objetivos:

• O cenário crítico é raro na coleta real.
• O objeto é perigoso, caro ou inviável de capturar.
• A anotação manual é o principal custo.
• O projeto precisa de variações sistemáticas (luz, ângulo, clima) que nenhuma coleta cobre.
• O modelo precisa de rótulo denso (profundidade, fluxo, pose).

Alguns resultados publicados, cada um com o seu recorte:

• Direção urbana. No SYNTHIA, misturar imagens sintéticas ao treino real subiu a acurácia média por classe no CamVid de 46,3% para 56,5% (rede T-Net) e de 52,8% para 72,1% (FCN).
• Rastreamento. No Virtual KITTI, pré-treinar com clones virtuais subiu o MOTA do rastreador DP-MCF de 71,9% para 76,7% em vídeos reais.
• Classes raras. O SynBalance levou a acurácia nas classes mais raras do ImageNet-LT de 12,6% para 21,4%.
• Humanos. No BEDLAM, um modelo treinado só com sintético empatou com o treinado em imagens reais no 3DPW (46,6 mm contra 46,4 mm de erro).

O limite: o rótulo é o produto, e o real é o teste

A beleza da imagem não é o critério. O que ensina o modelo é o par imagem-rótulo: uma imagem fotorrealista sem anotação confiável ensina pouco, e uma imagem razoável com rótulo exato ensina bastante.

E o sintético não substitui o real por conta própria nos trabalhos acima:

• No SynBalance, treinar só com sintético deu 28,1%, contra 42,0% do baseline com dado real.
• No Virtual KITTI, os autores escrevem que treinar só com dado virtual “não é suficiente”; o melhor resultado veio do pré-treino virtual seguido de treino real.
• No SYNTHIA, a acurácia global caiu em um dos casos (FCN no U-LabelMe, de 79,4% para 76,2%).

Há ainda dois limites que o realismo não resolve: a simulação também embute viés (a escolha do que simular é humana; dá para auditar, mas não some), e o realismo que importa é o da sua tarefa, não o da imagem bonita. Um detalhe caro que não muda a métrica pode sair.

O que muda com uma cena controlada

Numa cena controlada você muda um fator por vez. No Virtual KITTI, o mesmo vídeo foi renderizado com neblina, e o rastreador MDP perdeu 57,4 pontos de MOTA em relação à versão sem neblina. Em dado coletado, isolar um efeito assim é bem mais difícil.

Na prática, o ciclo de trabalho tem três passos:

• Definir a tarefa e o formato de rótulo que o time consome (COCO, máscaras, keypoints, profundidade).
• Simular o problema (a cena, o objeto, as variações que importam) e gerar o primeiro dataset.
• Treinar e medir no domínio real, no seu modelo, e voltar à simulação para cobrir as falhas que apareceram.

A SynthVision trabalha sobretudo fornecendo os dados para equipes que já têm o seu modelo e o seu pipeline de treino. Quando faz sentido, também desenvolve o projeto completo ou atua como consultoria. As decisões (o que gerar, quais variáveis variar) ficam com o time; a geração e a anotação são automáticas. Para um caso industrial, veja a inspeção de qualidade com dados sintéticos.

O que levar para o seu projeto

• Comece pela pergunta de rótulo. Que resposta o modelo precisa dar (caixa, máscara, profundidade)? Se o rótulo é o gargalo, o sintético entra cedo na conversa.
• Escolha o método pelo problema. Simulação para cena especificada, IA generativa para variedade visual, coleta real para o teste final. Os três convivem.
• Valide no real, sempre. O dado real continua sendo o teste que decide se o sintético ajudou.

Quer começar um projeto com dados sintéticos sem começar errado? Conte para nós em uma conversa de diagnóstico. Se dado sintético não for o caminho, dizemos isso também.

Fontes

• Ros, G. et al. The SYNTHIA Dataset. CVPR 2016.
• Gaidon, A. et al. Virtual Worlds as Proxy for Multi-Object Tracking Analysis. CVPR 2016 (arXiv 1605.06457).
• Jiang, Z. et al. SynBalance. ICCV Workshops 2025.
• Black, M. J. et al. BEDLAM. CVPR 2023.
• Para a discussão sobre o limite dos dados reais, veja a nossa análise.