A NVIDIA apresentou o Cosmos3-H-Dreams, um simulador generativo de cenas cirúrgicas treinado com vídeos e dados cinemáticos de procedimentos realizados com a plataforma Versius, da CMR Surgical. Segundo a empresa, o sistema permite controlar instrumentos numa cena gerada e foi concebido para a colecistectomia, operação de remoção da vesícula biliar. O artigo de apresentação foi publicado no Hugging Face a 20 de outubro de 2026.

O projeto dá continuidade ao Cosmos-H-Dreams, que simulava tarefas de sutura robótica num ambiente de mesa. A NVIDIA descreve a nova versão como, tanto quanto é do seu conhecimento, o primeiro simulador cirúrgico generativo em tempo real treinado com gravações clínicas de colecistectomias e compatível com controlo cinemático ao vivo. A empresa afirma que o sistema funciona interativamente numa única GPU NVIDIA RTX PRO 6000, com inferência acelerada pela biblioteca FlashDreams.

Em vez de representar explicitamente a geometria da cena, a deformação dos tecidos e as interações físicas, o modelo aprende dinâmicas visuais a partir de vídeo sincronizado com movimentos dos robôs. A tarefa é mais exigente do que a simulação em mesa: a tração pode esticar tecidos, os instrumentos podem ficar ocultos e o fumo pode alterar a visibilidade. A NVIDIA sublinha que o realismo visual, por si só, não demonstra precisão biomecânica; o simulador também tem de responder de forma coerente às ações enviadas.

A base é o Cosmos3-H-Embodied-Nano, um modelo de 16 mil milhões de parâmetros pré-treinado com Open-H-Embodiment, posteriormente adaptado a vídeos e dados cinemáticos selecionados de colecistectomias. A seleção dos exemplos visava incluir dois instrumentos visíveis e em utilização: uma pinça Cadiere à esquerda e um gancho monopolar à direita. O modelo usa 28 dimensões de ação, incluindo informação de posição, orientação e pinça dos dois braços, além de controlos de energia e comandos dos joysticks.

Os vídeos de treino têm resolução de 832 por 480 píxeis, com ações alinhadas a 10 Hz. Essa frequência de amostragem não corresponde à velocidade de geração em execução. No treino, o modelo professor foi primeiro adaptado para prever 24 fotogramas futuros e depois para 72, equivalentes a 2,4 e 7,2 segundos, respetivamente, à frequência indicada. A NVIDIA descreve uma passagem para modelos causais que geram vídeo em blocos à medida que chegam novas ações, recorrendo também a contextos gerados pelo próprio modelo durante o treino.

Foram apresentados dois modelos derivados: um com quatro passos de denoising e outro, treinado separadamente, com dois. Segundo a NVIDIA, menos passos aceleram a inferência, mas reduzem a qualidade visual. O artigo destaca ainda que pequenos erros podem acumular-se em simulações prolongadas. A informação apresentada não inclui uma avaliação independente da fidelidade anatómica, da precisão biomecânica ou do desempenho em tarefas cirúrgicas; por isso, não demonstra adequação para treino clínico ou utilização em cirurgia real.

Porque importa

A iniciativa explora uma via de simulação cirúrgica baseada em vídeo e controlo robótico, em vez de modelar explicitamente a física dos tecidos. Poderá interessar a investigadores e programadores, mas realismo visual e operação em tempo real não bastam para demonstrar validade clínica.

Fontes

NVIDIA Cosmos3-H-Dreams: Bringing Clinical Surgery to Life Through Generative SimulationHugging Face ↗