ANÁLISE DE PAPER
O LucidSim (MIT CSAIL, CoRL 2024) treinou um robô quadrúpede só em simulação, com imagens geradas por IA. Veja os resultados, no real e no simulado.
O LucidSim (Yu et al., MIT CSAIL, CoRL 2024) treina um robô quadrúpede para "parkour visual" em simulação, sem nenhuma imagem real de treino do robô. O que torna o trabalho interessante é a receita híbrida: a física vem de um simulador, e a aparência de cada imagem vem de um modelo generativo. Os próprios autores o chamam de prova de conceito preliminar.
O que o LucidSim faz
A tarefa é um robô com uma única câmera colorida subir degraus, saltar obstáculos e perseguir uma bola ou um cone. O pipeline tem quatro peças:
- Física e geometria: o simulador MuJoCo roda a cena e entrega, a cada quadro, a imagem de profundidade e máscaras semânticas. O terreno é simples, desenhado à mão e herdado de trabalhos anteriores.
- Imagem: um modelo de difusão (Stable Diffusion XL Turbo), guiado por ControlNet com a profundidade e as máscaras, gera a aparência a partir de um texto. Os textos são gerados em massa por um LLM (cerca de mil por tarefa), com variações de clima, hora e cenário.
- Vídeo: só o primeiro quadro de cada sequência é gerado. Os seis seguintes são obtidos deformando-o com o fluxo óptico calculado da geometria, o que acelera a geração em cerca de 6,5 vezes.
- Aprendizado: um professor com acesso privilegiado ao mapa de altura do terreno rotula as ações. A política visual aprende primeiro por imitação e depois em ciclos de DAgger (três iterações), com dados coletados pela própria política.
O que os resultados mostram
- No simulador de avaliação, feito com cenas reais escaneadas (Gaussian Splatting), 50 execuções por cena e três cenas por tarefa: nos obstáculos (hurdle), o LucidSim chegou a 90,7%, 93,5% e 96,5% de metas atingidas, contra 56,5%, 52,5% e 44,0% da randomização de domínio. Em escadas, o resultado ficou misturado: 87,0% contra 95,5% em tijolo, empate em concreto (81,0% e 81,5%) e 83,7% contra 71,7% em mármore. Na tarefa de perseguir a bola, a randomização ganhou em uma das cenas (97,3% contra 88,7%).
- No robô real (Unitree Go1, webcam barata, execução a bordo), em poucas tentativas por tarefa: cone 100% (20 tentativas), bola 85% (20), obstáculo escuro 86,7% (15), obstáculo claro 73,3% (15), escada 100% (10). A randomização de domínio ficou em 70%, 35%, 26,7%, 40% e 50% nas mesmas tarefas.
- Contra um baseline de profundidade, o resultado real foi misto: o baseline fez 80% (cone) e 65% (bola), abaixo do LucidSim; 86,7% e 80% nos obstáculos, empatando no escuro e ficando acima no claro; e 100% na escada, empate. Os autores descrevem os resultados como comparáveis.
- O que mais pesou foi o treino com dados da própria política. Aumentar só os dados do professor saturou rápido, e os ciclos de DAgger trouxeram a maior parte do desempenho.
Os autores dizem que o robô treinado com o LucidSim reconhece uma bola de futebol preta e branca e também bolas de outras cores. Interpretam isso como efeito da diversidade das imagens geradas, uma explicação do paper e não um teste isolado.
O limite: híbrido, pequeno e preliminar
- “Sem dados reais” vale para a política. Os modelos geradores (difusão, ControlNet com mapas de profundidade estimados) foram treinados em imagens reais. O que o paper afirma é que a política nunca viu imagens reais do robô.
- Poucas tentativas no mundo real. São entre 10 e 20 por tarefa, sem intervalos de confiança. Os resultados de 100% vêm de 10 e 20 tentativas.
- O ganho depende da comparação. Contra a randomização de domínio é nítido nos obstáculos e menor nas escadas. Contra o baseline de profundidade, não aparece nos obstáculos e na escada reais (empate ou abaixo).
- Geometria fixa. Os autores deixaram a variação de terreno fora do escopo, e o controle forte da geometria reduz o detalhe das imagens, um compromisso que eles descrevem.
- Memória curta. A política vê sete quadros (140 ms), e os autores apontam que saltar vãos largos precisaria de cerca de 400 ms.
O que muda com uma cena controlada
Esta seção é leitura nossa. No LucidSim, a aparência vem de um gerador e a geometria vem do simulador, dois sistemas que o ControlNet tenta alinhar. Numa cena 3D declarada, a imagem e o rótulo geométrico saem da mesma cena, então não há divergência entre eles por construção. Em compensação, a aparência passa a depender do que foi modelado, e a variedade que o gerador dá de graça tem de ser construída: materiais, iluminação, fundos. Também não é um substituto direto para tarefas em que a política precisa de física, como contato e atrito, onde o simulador de física continua sendo a peça central.
O Geo4D segue o raciocínio de rótulo geométrico vindo da cena, em outra tarefa, e o Infinigen mostra uma forma de criar variedade de cenas por regras.
O que levar para o seu projeto
- Separe aparência e física ao escolher a ferramenta. Se a tarefa depende das duas, verifique que estão alinhadas ou meça a divergência.
- Diga contra qual baseline você compara. Randomização de domínio, entrada de profundidade e dado real são perguntas diferentes, e os resultados do LucidSim mudam com cada uma.
- Teste cedo no equipamento real e com o número de tentativas à vista. Dez tentativas mostram onde a simulação falha, mas não dão uma taxa de sucesso.
Tem um robô que precisa funcionar fora do laboratório? Conte para nós em uma conversa de diagnóstico. Se dado sintético não for o caminho, dizemos isso também.
Fontes
- Yu, A.; Yang, G.; Choi, R.; Ravan, Y.; Leonard, J.; Isola, P. Learning Visual Parkour from Generated Images. CoRL 2024.
- Página do projeto: LucidSim.
Deixe um comentário