Um projeto de Halloween descrito no blogue da Hugging Face, com autoria de Rick Grandy e Maryam Motamedi, ambos associados à NVIDIA, apresenta o MonsterHouse, uma projeção interativa que responde a crianças em tom de velho navio pirata rabugento. Segundo o autor, a casa entrega doces aos visitantes, responde por voz e suaviza-se quando as pessoas se lembram das boas maneiras. O sistema assenta no NVIDIA Nemotron Voice Agent e corre numa única estação de trabalho, o que, segundo o texto, permite manter tudo autónomo e sem depender de serviços externos.

A arquitetura combina vários componentes. A escuta fica a cargo do Nemotron Speech, que converte a fala em texto. O raciocínio é feito pelo Nemotron 3.5 Bolt E4B, um modelo de linguagem pequeno para agentes conversacionais, com um adaptador LoRA que define a personalidade. A voz é gerada pelo Magpie TTS Zeroshot a partir de uma breve amostra de referência, e a animação da boca em Unreal Engine 5 é feita pelo Audio2Face-3D. O Nemotron 3 Nano Omni descreve os disfarces, enquanto o YOLO com ByteTrack conta e acompanha os visitantes. O hardware indicado é uma RTX PRO 6000 Blackwell Max-Q e uma RTX PRO 4000 Blackwell.

A parte visual foi uma das mais trabalhosas. O autor descreve uma porta de garagem em madeira com boca, sem olhos nem sobrancelhas, modelada em Autodesk Maya e exportada para Unreal Engine, onde foram acrescentados efeitos de fogo atrás da porta. Criar um rig de animação personalizado exigiu bastante esforço até ser possível exportar as formas de expressão facial que o Audio2Face-3D pudesse animar. Segundo o texto, a parte do agente de voz, que deveria ser a mais difícil, acabou por ser iterativa e relativamente simples, porque a base de escuta, conversa e fala já vinha pronta.

A personagem tem também um passado inventado: a casa teria sido construída com madeira de um navio pirata afundado. O guião segue um percurso de interação com uma primeira resposta de desdém a quem chega, que pode ser quebrada com um «por favor», e um «obrigado» garante uma despedida calorosa. O autor sublinha que a personagem precisa de memória e de uma lógica de conversa mais complexa do que um simples pedido de mau humor, e que o modelo de linguagem pode ser escolhido livremente dentro do Voice Agent.

Importa separar a demonstração da verificação. O texto não apresenta métricas independentes de latência, precisão ou robustez; as afirmações sobre o funcionamento vêm do próprio autor e da publicação de projeto. O caso serve sobretudo como exemplo de integração de componentes abertos num sistema local e em tempo real, e não como prova de desempenho comparável a outras soluções.

Porque importa

O caso mostra que modelos abertos de pequena dimensão já permitem montar agentes de voz em tempo real a correr localmente, sem infraestrutura na nuvem. Para leitores em Portugal, é um exemplo prático de como equipas criativas e de engenharia podem combinar componentes de escuta, linguagem, voz e animação. Ainda assim, a informação vem de uma publicação de projeto e não de um estudo independente, pelo que deve ser lida como demonstração técnica e não como garantia de desempenho.

Fontes

nemotron-halloweenHugging Face ↗