Dados sintéticos em inspeção de qualidade

FUNDAMENTOS

Em inspeção de qualidade, defeitos raros são o problema do dataset. O que um artigo do setor diz sobre dados sintéticos, e o que continua exigindo revisão.

Em inspeção de qualidade com visão computacional, o dataset costuma ser pequeno justamente onde mais importa: os defeitos raros. Um artigo da A3 (associação do setor de automação) sobre IA de visão para inspeção descreve o problema e traz a opinião de três fornecedores sobre o papel dos dados sintéticos. Este post resume o que o artigo diz e o que ele não diz, e onde entra uma cena controlada.

O problema: defeito raro, dataset pequeno

Segundo o artigo (John Lewis, A3, 25 de setembro de 2024), fabricantes bons não produzem muitos defeitos, de modo que os modelos precisam ser treináveis com poucos dados. Peter McLaughlin, da Agmanic Vision, chama de "principal desafio" obter um dataset suficientemente grande e representativo, em especial de peças defeituosas, e diz que muitas vezes é impossível reunir amostras físicas de todas as formas, tamanhos e cores de defeito.

É esse o ponto onde dados sintéticos entram: gerar imagens de peças e defeitos que a produção real mostra pouco. O artigo traz um exemplo, o de um classificador de peças soldadas saindo de uma cabine de pintura, treinado pela Agmanic com imagens geradas a partir de modelos CAD, sem captura de imagens no local.

O que o artigo diz sobre os limites

O artigo é um panorama informado por fornecedores (Landing AI, Agmanic Vision e Invisible AI são citados), com depoimentos e exemplos, e não traz resultados medidos sobre o efeito do dado sintético. O que os entrevistados dizem sobre os limites é consistente:

• Exige revisão rigorosa. Quinn Killough, da Landing AI: dados sintéticos podem ajudar se houver um processo de revisão rigoroso. Imagens geradas por IA podem precisar de retoque humano, o que, segundo o artigo, “leva tempo e dinheiro”.
• Pode piorar o viés. McLaughlin: a adição de dados sintéticos, se mal aplicada, pode agravar o viés do dataset.
• Reduz esforço, não elimina o dado real. Para ele, o sintético reduz o esforço e o tempo de coletar imagens reais, mas os datasets sintéticos precisam ser bem gerenciados e, em certas áreas, ainda exigem imagens reais.

O único número de custo do artigo (queda de 80% no custo de mão de obra em uma fabricante de semicondutores que usa a plataforma da Landing AI) é atribuído principalmente a fluxos de trabalho mais enxutos, e não aos dados sintéticos.

O limite

• Fonte de setor, não estudo. O artigo reúne opiniões de fornecedores e anedotas. Não é um experimento nem uma comparação com número entre real e sintético.
• O texto antigo deste post prometia mais do que a fonte diz. Afirmar que dados sintéticos “eliminam” custos de coleta ou que “não têm riscos de privacidade” não se sustenta: modelagem, verificação do render e revisão custam, e licenças de assets e modelos de terceiros continuam valendo.
• O render pode não parecer a sua linha. Se a cena não se parece com o que a câmera vê na produção, o modelo aprende a distribuição errada.

O que muda com uma cena controlada

Esta seção é a nossa leitura, não a do artigo. Em uma cena 3D, o defeito é um parâmetro: tipo, posição, tamanho e severidade são declarados, e o rótulo (onde está, qual é) sai do próprio render. Isso permite criar a cobertura que a produção real não dá e saber o que cada imagem representa. As mesmas ressalvas do artigo valem para nós: a cena precisa passar por revisão, a variação precisa refletir a sua linha (luz do turno, lote da peça, ângulo da câmera), e o resultado é validado com imagens reais, com ajuste da cena para as falhas que ainda aparecem. O dataset evolui com o modelo, em ciclos, e não como uma entrega única.

O que levar para o seu projeto

• Comece pelo defeito que custa mais e conte quantos exemplos dele você realmente tem hoje.
• Planeje a revisão. Quem confere as imagens geradas, com que critério, e como você detecta viés que o gerador introduziu.
• Valide na sua linha. Treine, teste em imagens reais de produção e volte à cena para os casos que falharam.

Seu dataset de inspeção cobre os defeitos que mais custam? Conte para nós em uma conversa de diagnóstico. Se dado sintético não for o caminho, dizemos isso também.

Fontes

• Lewis, J. Quality Inspection AI Vision: Synthetic Data Testing Training. A3 Automate, 25 de setembro de 2024. Artigo de setor, com depoimentos de fornecedores; trate como indício, não como estudo.