A NVIDIA anunciou o lançamento do Cosmos-H-Dreams, uma plataforma de simulação generativa concebida especificamente para o campo da robótica cirúrgica. Esta solução visa superar as limitações dos simuladores convencionais, que frequentemente falham ao tentar replicar a complexidade visual e física de um ambiente de bloco operatório, onde elementos como tecidos deformáveis, instrumentos metálicos, suturas e oclusões dinâmicas representam desafios significativos para a modelação computacional tradicional.
O sistema baseia-se na destilação do modelo Cosmos-H-Surgical-Simulator, um modelo de fundação de mundo que aprende dinâmicas visuais a partir de vídeos sincronizados e dados cinemáticos de robôs. Ao integrar a biblioteca de inferência acelerada FlashDreams, a NVIDIA conseguiu reduzir a carga computacional necessária, permitindo que o modelo funcione em tempo real num único GPU NVIDIA RTX PRO 6000. Esta capacidade de processamento é fundamental para criar ambientes interativos onde tanto humanos como políticas de IA podem operar em ciclos fechados.
Para garantir a precisão necessária em contextos clínicos, a equipa de desenvolvimento utilizou um processo de destilação que envolve um professor bidirecional e um aluno causal. O modelo foi treinado com uma mistura de dados que inclui não apenas demonstrações bem-sucedidas, mas também episódios de falha, como quedas de agulhas ou nós mal executados. Esta abordagem é crucial para que o simulador possa avaliar corretamente as consequências de ações subótimas, algo indispensável para o treino robusto de sistemas robóticos autónomos.
A versatilidade do Cosmos-H-Dreams foi demonstrada através de colaborações estratégicas com entidades como a CMR Surgical e a Cambridge Consultants. A integração com o controlador cirúrgico Versius permitiu validar a eficácia da tecnologia em plataformas reais, demonstrando que o modelo consegue processar fluxos de dados cinemáticos e gerar quadros de vídeo subsequentes de forma contínua. Este avanço representa uma mudança de paradigma, permitindo que a avaliação de políticas robóticas ocorra sem a necessidade de operar plataformas físicas dispendiosas.
A técnica de 'self-forcing distillation' foi implementada para mitigar o problema da acumulação de erros em modelos autorregressivos. Durante o treino, o aluno aprende a gerar o seu próprio contexto, evitando a discrepância entre o ambiente de treino, onde o modelo recebe dados perfeitos, e o ambiente de implementação, onde depende das suas próprias saídas anteriores. Com este desenvolvimento, a NVIDIA procura acelerar a transição da teleoperação para políticas de visão-linguagem-ação mais capazes na robótica cirúrgica moderna.
Porque importa
A capacidade de simular ambientes cirúrgicos complexos com precisão física e em tempo real reduz drasticamente os custos e riscos associados ao treino de robôs cirúrgicos. Ao permitir a avaliação de políticas de IA em cenários sintéticos que replicam falhas reais, esta tecnologia acelera o desenvolvimento de sistemas robóticos mais seguros e eficazes para a medicina, diminuindo a dependência de testes físicos dispendiosos e lentos.