A NVIDIA anunciou o lançamento do Nemotron 3 Diarization, um modelo de pesos abertos concebido para resolver o desafio da diarização de oradores em tempo real. Com 100 milhões de parâmetros, a tecnologia foi desenhada para classificar quem falou e em que momento, permitindo que sistemas de transcrição automática associem corretamente as palavras aos respetivos intervenientes. Esta capacidade é fundamental para melhorar a utilidade de transcrições em reuniões, podcasts ou chamadas de apoio ao cliente, onde a identificação precisa de cada participante é essencial para a análise de compromissos e interrupções.

O modelo destaca-se pela sua versatilidade, funcionando tanto em cenários de processamento offline como em transmissões em direto. Segundo os dados divulgados pela empresa, o Nemotron 3 Diarization alcançou o primeiro lugar no benchmark Diarization-Bench da VoiceArena, registando uma taxa de erro de diarização (DER) de 14,72%. Este desempenho representa uma melhoria significativa face a soluções anteriores, como o Streaming Sortformer, expandindo o suporte de quatro para oito oradores simultâneos, mesmo em situações de sobreposição de vozes ou interrupções frequentes.

A arquitetura do modelo baseia-se na abordagem Sortformer, que ordena os oradores de acordo com o momento em que surgem pela primeira vez na conversa. Esta estratégia de ordenação por tempo de chegada garante a estabilidade das etiquetas atribuídas, evitando a necessidade de resolver permutações complexas a cada novo segmento de áudio processado. O sistema aceita áudio de canal único a 16 kHz e converte-o em características de espectrograma Mel, mantendo a consistência da identificação do orador ao longo de toda a duração da gravação.

Para o treino do modelo, a NVIDIA utilizou uma combinação de dados de voz públicos e licenciados, incluindo conversas reais multiorador fornecidas pela David AI. A inclusão destes dados permitiu ao modelo processar conteúdos em 21 idiomas diferentes, resultando numa redução média de 40% na taxa de erro relativa com uma latência de 1,04 segundos. A empresa sublinha que o modelo atribui etiquetas anónimas, como 'orador_2', cabendo às aplicações de destino realizar a correspondência com identidades reais através de metadados ou sistemas de verificação de voz.

A implementação do Nemotron 3 Diarization está disponível através do NVIDIA NeMo Speech, permitindo aos programadores integrar a diarização em fluxos de trabalho de reconhecimento automático de voz (ASR). A flexibilidade do modelo permite ajustar o equilíbrio entre latência e precisão, adaptando-se a diferentes necessidades de infraestrutura. Com este lançamento, a NVIDIA procura fornecer uma ferramenta robusta para a criação de agentes de voz e sistemas de análise de conversação mais inteligentes, capazes de lidar com a complexidade inerente às interações humanas naturais.

Porque importa

A capacidade de identificar corretamente quem fala num diálogo é um passo crítico para a eficácia de ferramentas de IA em contextos profissionais. Ao disponibilizar um modelo de pesos abertos que resolve a diarização com elevada precisão e baixa latência, a NVIDIA facilita o desenvolvimento de aplicações de transcrição mais fiáveis, essenciais para a análise de reuniões e gestão de conhecimento corporativo.

Fontes

**Know Who Spoke When: Build Real-Time, Multi-Speaker AI with NVIDIA Nemotron 3 Diarization**Hugging Face ↗