Viés em dados sintéticos: o que um relatório de 2024 diz

ANÁLISE DE PAPER

Um relatório de 2024 lista riscos e vieses dos dados sintéticos, sem experimentos próprios. O que ele diz, onde é fraco e como auditar a origem dos dados.

"Dados sintéticos têm viés" é uma frase fácil de concordar e difícil de medir. O relatório de Hao et al. (arXiv 2401.01629, janeiro de 2024) reúne os riscos de forma organizada e vale como lista de verificação. Ele não mede nada, e é bom saber disso antes de citá-lo.

O que o relatório faz

É uma revisão de uma equipe da Huazhong University of Science and Technology, publicada no arXiv (versão 1). Ela percorre três blocos:

• Como se gera: métodos estatísticos (distribuições, Monte Carlo, interpolação, estimação de densidade) e de deep learning (VAE, GAN, difusão, LLMs).
• Onde se usa: visão, áudio, linguagem natural e saúde, com exemplos como PersonX (renderizado em Unity), MedGAN e SynthIE.
• O que pode dar errado: uma lista de limitações e riscos, seguida de recomendações.

O que o relatório afirma

• Falhas dos dados sintéticos, em sete itens: desvio de distribuição em relação aos dados reais, dados incompletos, dados imprecisos, ruído insuficiente, suavização excessiva, falta de dinâmica temporal e pouca inconsistência (variedade de fontes e condições).
• Riscos de uso: pior generalização do modelo, implicações éticas e sociais (conteúdo fictício e desinformação), vulnerabilidade a ataques adversariais e dificuldades de conformidade legal, como em finanças.
• Distribuição e representatividade: conjuntos criados sem atenção à diversidade demográfica (gênero, idade, raça) podem gerar modelos piores para outros grupos, e geradores treinados com dados da internet podem reproduzir os vieses dessa fonte.
• Recomendações: usar modelos generativos mais avançados, incorporar conhecimento de domínio (computação gráfica, física, ciência cognitiva) para ganhar realismo, criar padrões de indústria, documentar o método e os parâmetros de geração, validar os modelos em dados reais e atualizar os conjuntos sintéticos.

O limite: revisão, não evidência

• Não há experimento. O relatório não mede quanto viés cada método carrega nem testa nenhuma das correções que sugere. A frase “modelos generativos avançados evitam o desvio de distribuição” é uma proposta, não um resultado.
• Parte dos exemplos não é de dados sintéticos. O caso do filtro de arte GoArt (que mudou o tom de pele em uma pintura) é de um modelo de estilo, e o do conjunto Tiny Images, do MIT, é um dataset coletado de buscadores, retirado por conter conteúdo discriminatório. O próprio texto diz que o problema “não se limita aos conjuntos sintéticos”. Os exemplos mostram viés em IA e em dados reais, e não medem viés em dados sintéticos.
• O texto é geral. Os riscos valem para estatística, GANs, difusão e LLMs ao mesmo tempo, e o que vale para texto clínico não vale necessariamente para imagens renderizadas. O relatório não separa a imagem gerada por modelo da imagem renderizada de uma cena.
• É a versão 1 de um preprint do arXiv. Não verifiquei se foi publicado depois em periódico ou conferência.

O que muda com uma cena controlada

Esta seção é leitura nossa. Três das recomendações do relatório, documentar o método, validar com dados reais e usar conhecimento de computação gráfica e física, descrevem práticas de quem gera por cena. Numa cena 3D, as decisões sobre quem e o que aparece ficam registradas como parâmetros, e o rótulo vem da cena. Isso permite auditar a receita, e não só olhar imagens.

Isso não elimina o viés. Quem monta a cena escolhe os modelos, as populações, os ambientes e as proporções, e essa escolha pode ser enviesada. Há também a distância entre o render e a câmera real, que só o teste em dado real mede. O que a cena controlada oferece é viés declarado, que se pode inspecionar e corrigir, não viés ausente.

Para ver por que a média esconde o que importa, a análise do paper de 2017 sobre segmentação traz resultado por classe, com ganho em umas e perda em outras.

O que levar para o seu projeto

• Pergunte quem falta. Defina antes quais grupos, condições e classes o modelo precisa atender, e verifique a cobertura de cada um.
• Exija a receita. Como o dataset foi gerado, com quais parâmetros e quem revisou as escolhas. Sem isso, não há o que auditar.
• Valide em dado real, por segmento. Um modelo só atende igualmente bem os grupos que o dataset disse cobrir se o teste real, separado por grupo, mostrar isso.

Seu dataset cobre quem precisa ser coberto? Conte para nós em uma conversa de diagnóstico. Se dado sintético não for o caminho, dizemos isso também.

Fontes

• Hao, S. et al. Synthetic Data in AI: Challenges, Applications, and Ethical Implications. arXiv:2401.01629v1, janeiro de 2024.