ANÁLISE DE PAPER
Estudo do MIT (ICLR 2022) treinou só com imagens de GANs: abaixo do real no ImageNet, acima em carros. Veja o que o estudo diz e o que ele não diz.
Em 2022, pesquisadores do MIT perguntaram: se os modelos generativos forem bons o bastante, ainda precisamos de datasets? A pergunta costuma ser lida como "simulação contra IA generativa", mas o estudo não compara isso. Ele compara aprender com imagens geradas por GANs contra aprender com fotos reais. A distinção muda o que dá para tirar dele.
O que o estudo fez
O artigo (Jahanian, Puig, Tian e Isola, ICLR 2022) trata o gerador como caixa-preta, sem acesso aos dados com que ele foi treinado. A ideia central: pontos vizinhos no espaço latente do gerador produzem imagens do mesmo conteúdo em "vistas" diferentes. Essas vistas servem de pares positivos para aprendizado contrastivo, no lugar das transformações usuais sobre pixels. Os autores testaram dois geradores: BigBiGAN (ImageNet) e StyleGAN2 (carros do LSUN, 893 mil fotos reais, FID 2,32). A qualidade da representação foi medida com um classificador linear sobre as features aprendidas.
O que os resultados mostram
- ImageNet (BigBiGAN, sem rótulos): 43,90% de acerto top-1 com dados reais contra 42,58% com a melhor configuração gerada (vistas gaussianas mais aumentos de pixel). O gerado fica perto, mas abaixo.
- ImageNet condicionado a classe (BigGAN, cenário de 1000 classes): 50,84% real contra 49,25% no melhor gerado. No cenário menor, ImageNet100, a diferença é maior: 81,18% real contra 70,16%.
- Carros (StyleGAN2): transferência para Stanford Cars de 39,68% (fotos reais de carros) para 49,79% (gerado, vistas gaussianas mais aumentos). No ImageNet, empate prático: 30,30% contra 30,06%.
- Mais amostras ajudam, mas pouco: o ganho cresce de forma sublogarítmica com o número de imagens geradas. A distância entre vistas segue uma curva em U invertido, com pico em desvio padrão 0,2.
- Misturar: no apêndice (Figura 9, ImageNet100, geração sem rótulos), substituir fotos reais por geradas reduz a acurácia à medida que os reais diminuem: de cerca de 67% com só dados reais para cerca de 58% com só dados gerados. Os autores apontam 5% de gerado como ponto favorável, onde a curva fica praticamente plana.
Os autores resumem assim: as representações aprendidas com grandes quantidades de dado gerado rivalizam, e às vezes superam, as aprendidas com dados reais. Os números acima mostram "às vezes" na prática: o caso que supera é o de carros, em que o gerador reproduz as fotos reais quase sem diferença (FID 2,32).
O limite: o gerador aprendeu com o real
- A origem continua real. O StyleGAN2 foi treinado com 893 mil fotos reais de carros. O estudo assume que o pesquisador não acessa esses dados, não que eles não existam. “Treinado só com dado gerado” descreve o último passo, não a cadeia toda.
- Uma tarefa, poucos geradores. É aprendizado de representação, avaliado com classificação linear, em dois geradores de 2019–2020. Não é resultado de detecção, segmentação ou de uma pipeline de produção, e os geradores atuais são outros.
- Viés e privacidade, segundo os próprios autores. A declaração de ética lista como risco que geradores podem revelar os dados em que foram treinados e amplificar vieses, e que isso exige auditoria.
- O que o estudo não testou: imagens renderizadas de uma cena. O próprio texto cita simulação e renderização como a fonte tradicional de dado sintético e diz que o trabalho olha para outra coisa. Qualquer comparação entre as duas abordagens vai além do que o paper mediu.
O que muda com uma cena controlada
Isto é leitura nossa, não resultado do paper. Numa cena 3D declarada, o rótulo (máscara, profundidade, pose, caixa) sai da mesma cena que gera a imagem, em vez de depender de um modelo que estima. O que você cria também não parte de um corpus real alheio: parte de uma lista do que o projeto precisa, incluindo casos raros, como um pedestre em local incomum. O preço é outro. Uma cena controlada exige modelagem e uma ponte para a aparência real (o problema de domínio), e pode carregar viés de quem a desenhou. Em tarefas em que variedade visual de fotos é o que importa e o rótulo é só a classe da imagem, como no estudo do MIT, o gerador resolve bem.
Para ver o raciocínio em resultado medido, a análise do Geo4D cobre um modelo treinado só com cenas sintéticas aplicado a vídeo real, e o paper de 2017 sobre segmentação mostra o ganho de aumentar um dataset real com imagens sintéticas.
O que levar para o seu projeto
- Leia o método antes da manchete. “Só com dados sintéticos” pode significar um gerador treinado em milhões de fotos reais, e o resultado depende de quão fiel ele é àquela distribuição.
- Pergunte de onde vem o rótulo. Se a tarefa exige rótulo geométrico exato, uma cena declarada o entrega; classe por imagem, um gerador condicionado também pode entregar.
- Meça no seu domínio. Um resultado em ImageNet e carros do LSUN não transfere por si só para a sua câmera, o seu defeito ou o seu ambiente.
Tem uma tarefa que depende de rótulos exatos? Conte para nós em uma conversa de diagnóstico. Se dado sintético não for o caminho, dizemos isso também.
Fontes
- Jahanian, A.; Puig, X.; Tian, Y.; Isola, P. Generative Models as a Data Source for Multiview Representation Learning. ICLR 2022.
- MIT News. When it comes to AI, can we ditch the datasets?. 15 de março de 2022.
Deixe um comentário