A NVIDIA anunciou a adição de quatro checkpoints de pesos abertos à família Cosmos 3, a sua plataforma de modelos de mundo, orientados para a simulação interativa de mundos e para a geração de cenas de condução com múltiplos sensores e vistas. Segundo a publicação no Hugging Face, datada de 5 de novembro de 2026, os modelos são variantes pós-treinadas do Cosmos 3 Nano e têm 16 mil milhões de parâmetros treináveis. A empresa apresenta-os como um ponto de partida partilhado para investigadores e programadores que pretendam construir ambientes simulados mais ricos e responsivos.
Os quatro modelos têm funções distintas. O Cosmos3-Nano-Transfer-Auto gera dados sintéticos de condução offline, com vídeo sincronizado até 11 câmaras, incluindo lentes fisheye, e geração conjunta de RGB e LiDAR. Os controlos por câmara especificam a estrutura da cena e o movimento do trânsito, enquanto um texto orienta a aparência, permitindo variar condições meteorológicas, iluminação e hora do dia. O Cosmos3-Nano-Sim-Auto é a variante destilada para streaming, que gera pequenos blocos sucessivos de vídeo de câmara e LiDAR em poucos passos de remoção de ruído, usando o histórico gerado e controlos de condução atualizados.
Os outros dois modelos centram-se na robótica e na manipulação. O Cosmos3-Nano-Sim-Transfer recebe controlos de um simulador de física, como movimento, contactos e estado físico, e um texto, e produz observações RGB fotorrealistas, com apoio de controlos espaciais como profundidade e segmentação, para que uma política as possa consumir. O Cosmos3-Nano-Sim-Bimanual prevê vídeo a partir de ações de robô ou de câmara, procurando mostrar as consequências visuais de cada ação. Segundo a NVIDIA, estas duas abordagens são complementares na construção de ambientes para robôs.
A empresa destaca a geração em streaming como forma de ligar a previsão de vídeo a uma interação contínua, em que cada observação pode influenciar a ação seguinte. No caso da condução, a geração sincronizada de câmara e LiDAR procura garantir que o aspeto visual e a geometria 3D coincidem, e os controlos de layout de estrada e de semáforos permitem estudar como uma política de condução reage a diferentes cenários. A NVIDIA reconhece, contudo, que ainda é preciso medir em que medida estes modelos suportam, com fidelidade, a aprendizagem e a avaliação de políticas, e compreender os seus limites.
Os pesos são disponibilizados sob a licença OpenMDW 1.1, que permite uso comercial e não comercial nos seus termos, juntamente com receitas de pós-treino e um relatório técnico. Para adaptar o modelo a um sensor ou domínio próprio, a empresa indica que o ponto de partida é o Transfer-Auto, pós-treinado com dados do utilizador, antes de eventual destilação para streaming. Os ganhos e capacidades descritos são alegações do fabricante; a informação disponível não inclui avaliações independentes destes modelos.
Porque importa
Para equipas que desenvolvem condução autónoma e robótica, a disponibilização de pesos abertos com receitas de pós-treino oferece um ponto de partida para adaptar os modelos e comparar métodos. A possibilidade de variar condições climáticas, layouts de estrada e ações de robô na geração de dados pode ser útil para a investigação. Ainda assim, as capacidades anunciadas são alegações do fabricante, e a utilidade para aprendizagem e avaliação de políticas depende de medições que a própria empresa refere como trabalho ainda por fazer.