O limite dos dados reais, segundo Sutskever

FUNDAMENTOS

Na NeurIPS 2024, Sutskever disse que o pré-treino como o conhecemos vai acabar: só há uma internet. O que a fala diz e o que ela não diz sobre visão.

Em dezembro de 2024, na conferência NeurIPS, em Vancouver, Ilya Sutskever, cofundador da OpenAI e fundador da Safe Superintelligence, disse que "o pré-treino como o conhecemos vai, sem dúvida, terminar". A frase é muito citada nas discussões sobre o futuro dos dados de treino. Vale separar o que ele disse do que se costuma construir em cima.

O que a fala diz

Segundo a cobertura do The Verge, de 13 de dezembro de 2024, Sutskever disse no palco:

"Pre-training as we know it will unquestionably end."

"Pré-treino" aqui é a primeira fase do desenvolvimento de um modelo de linguagem, quando ele aprende padrões em grandes quantidades de dados sem rótulo, em geral texto da internet, livros e outras fontes. Ele disse também que a indústria está esgotando as fontes de dado novas e comparou a situação a combustíveis fósseis: assim como o petróleo é um recurso finito, a internet contém uma quantidade finita de conteúdo gerado por humanos. A citação mais citada:

"We’ve achieved peak data and there’ll be no more. We have to deal with the data that we have. There’s only one internet."

Um slide da apresentação resume o argumento: a computação está crescendo (hardware melhor, algoritmos melhores, clusters maiores), enquanto "os dados não estão crescendo: só temos uma internet; o combustível fóssil da IA". A reportagem registra ainda que ele acredita que os dados existentes ainda levam o desenvolvimento adiante, e que os modelos da próxima geração serão "agênticos de verdade" e capazes de raciocinar. O que isso significa para a origem dos dados de treino é uma pergunta em aberto, e a fala, tal como reportada, não a responde.

O que a fala não cobre

• O assunto é o pré-treino de modelos de linguagem, com texto. Visão computacional e dados de imagem não foram o tema, até onde a reportagem mostra.
• É uma previsão, feita no palco de uma conferência, e não um resultado medido ou um estudo com dados.
• A frase não é sobre qualidade ou domínio. “Pico de dados” fala do volume de texto público. Nada diz sobre o dado que falta para uma tarefa específica.

O que muda quando o estoque de dados é o gargalo

Esta seção é raciocínio nosso, não da fala. Em visão computacional, o problema costuma ser mais específico que o volume: a classe rara que quase nunca aparece, a condição extrema, o defeito que ocorre uma vez por semana. Isso não é um limite global de dados, é um limite de cobertura do seu conjunto, e ele existe mesmo quando há muito dado no mundo.

Dois pontos dessa linha de raciocínio pedem cuidado:

• Dado sintético não é uma fonte única. Um gerador treinado em dados reais depende do estoque de dados reais (a nossa leitura do estudo do MIT mostra isso em um caso). Uma cena construída não depende dele, mas depende de quem a modela.
• O dado real continua sendo o teste. O dado sintético alimenta o treino; só o teste em dado real mostra se funcionou no seu domínio.

O que levar para o seu projeto

• Separe volume de cobertura. Seu gargalo é pouco dado, ou falta um tipo de dado? A resposta muda a solução.
• Leia a fonte antes de citar. A fala é sobre pré-treino de linguagem. Estender para a sua tarefa de visão é uma hipótese a ser testada.
• Meça no real. Qualquer mistura de dados sintéticos e reais deve ser avaliada em um conjunto real que não participou do treino.

O gargalo do seu projeto é o dataset? Conte para nós em uma conversa de diagnóstico. Se dado sintético não for o caminho, dizemos isso também.

Fontes

• Robison, K. OpenAI cofounder Ilya Sutskever says the way AI is built is about to change. The Verge, 13 de dezembro de 2024.