ANÁLISE DE PAPER
O ROSE remove objetos de vídeos junto com sombras e reflexos, treinado com 16.678 pares renderizados em 3D. Veja os números e o que eles não provam.
Remover um objeto de um vídeo não é só apagá-lo. É apagar também o que ele causou: sombra, reflexo, luz na parede, transparência. O ROSE (Remove Objects with Side Effects in Videos), de Miao et al., ataca isso com um dado que o mundo real quase nunca entrega: o mesmo vídeo com o objeto e sem ele. Para consegui-lo, os autores renderizaram os pares em 3D.
O que o ROSE faz
O dado. Os autores usaram o Unreal Engine 5.3. Partiram de 28 ambientes 3D, que viraram 450 cenas, e renderizaram vídeos de 90 frames em 1920×1080. Para cada vídeo, o pipeline gera três versões alinhadas: com o objeto, sem ele e a máscara do objeto. No fim, são 16.678 pares de vídeo para treino. A máscara vem de um shader do próprio motor, sem modelo de segmentação.
As categorias. Além dos objetos comuns, o paper trata de cinco efeitos colaterais: fonte de luz, espelho, reflexo, sombra e translucidez.
O modelo. O ROSE é um Diffusion Transformer, baseado no Wan2.1 (1,3 bilhão de parâmetros). Duas ideias o diferenciam:
- Apagar com referência. Em vez de recortar o objeto e preencher o buraco, o modelo recebe o vídeo inteiro, para poder achar a sombra e o reflexo que precisam sumir.
- Máscara de diferença. Um módulo extra aprende a prever quais regiões mudam entre o par com e sem objeto, e isso entra como supervisão no treino.
O que os resultados mostram
Os números abaixo comparam o ROSE com o ProPainter e o DiffuEraser, dois dos cinco métodos usados como referência. PSNR e SSIM: maior é melhor. LPIPS: menor é melhor.
| Benchmark | Métrica | ROSE | ProPainter | DiffuEraser |
|---|---|---|---|---|
| Sintético (60 vídeos) | PSNR | 31,12 | 27,20 | 26,50 |
| Sintético (60 vídeos) | LPIPS | 0,077 | 0,095 | 0,128 |
| Vídeo real (DAVIS, pareado) | PSNR | 31,34 | 32,81 | 29,97 |
| Vídeo real (DAVIS, pareado) | LPIPS | 0,092 | 0,122 | 0,128 |
- No benchmark sintético, o ROSE ganha em tudo no PSNR, inclusive nos casos difíceis. Em espelhos, por exemplo, são 28,35 contra 22,12 do DiffuEraser.
- No vídeo real, o quadro é misto. Os autores concluem que o ROSE “generaliza bem” para vídeos reais. Na tabela pareada, porém, o ProPainter tem o PSNR mais alto (32,81 contra 31,34), enquanto o ROSE leva no SSIM e no LPIPS.
- Sem gabarito, os resultados também se dividem. Na avaliação com o VBench em vídeos reais sem par, o ROSE lidera em consistência de fundo e de sujeito, mas o DiffuEraser tem melhor qualidade de imagem.
- O que mais pesou no desenho. Na ablação, passar o vídeo inteiro como referência foi o maior ganho (PSNR de 27,28 para 30,84 no benchmark sintético).
O limite: o benchmark é da família do treino
- A maior vantagem está no teste mais parecido com o treino. O benchmark sintético de 60 vídeos é gerado pelo mesmo pipeline do treino. É onde o ROSE abre mais distância, e é onde menos se prova generalização.
- O teste “real” é montado. O pareado em DAVIS é feito colando um objeto em outro vídeo, e o original serve de gabarito. Os autores justificam o benchmark porque os existentes não tinham pares com física realista nem cobriam efeitos colaterais. É um bom teste, mas não é o mesmo que sombras e reflexos filmados de verdade.
- Dado e arquitetura vêm juntos. Os métodos de comparação não foram treinados com os mesmos dados, e o ROSE parte de um modelo base recente. O artigo não separa quanto do ganho vem do dado sintético e quanto da arquitetura.
- Limites que os autores citam. Tremulação (flicker) com movimento grande, e tempo de inferência que cresce com a duração do vídeo.
O que muda com uma cena controlada
O ROSE mostra bem o que a simulação entrega:
- O par com e sem objeto nasce na cena. O mesmo render, com e sem o objeto, com a sombra calculada pela luz.
- A máscara é exata, gerada pelo motor, sem passar por um modelo de segmentação.
- Os parâmetros ficam registrados: luz, material, trajetória. Dá para gerar o caso que faltou depois que o modelo errar.
O limite é o que o paper mostra: o teste final precisa ser em vídeo real, onde o gap aparece. E 450 cenas continuam sendo 450 cenas. O método está em decidir quais efeitos cobrir e quanta variação a tarefa pede. O mesmo desenho (treinar em cena sintética e transferir para o real) aparece no LucidSim, do MIT CSAIL, em robótica.
O que levar para o seu projeto
- Liste os efeitos colaterais da sua tarefa. Remover, adicionar ou mover um objeto envolve sombra, reflexo ou oclusão? Se sim, um rótulo só do objeto não basta.
- Desconfie do teste que se parece com o treino. Ganhos no benchmark sintético não garantem o mesmo no seu vídeo real.
- Compare no mesmo dado. Para saber o que o sintético trouxe, treine o seu baseline com o mesmo volume de dado.
Sua tarefa tem efeitos colaterais difíceis de anotar? Conte para nós em uma conversa de diagnóstico. Se dado sintético não for o caminho, dizemos isso também.
Fontes
- Miao, C. et al. ROSE: Remove Objects with Side Effects in Videos. arXiv:2508.18633, 2025.
Deixe um comentário