A NVIDIA apresentou o Nemotron 3.5 Transcribe, um modelo aberto (open-weight) que converte gravações de fala em texto e que pode ser orientado através de instruções em linguagem natural. O modelo está disponível no Hugging Face e no ModelScope. Segundo a empresa, reúne num único checkpoint a transcrição, a atribuição de falantes (diarização), a tradução e a resposta a perguntas sobre áudio. A publicação indica que o modelo transcreve 40 línguas, traduz 31 delas de ou para inglês e atribui falantes em 13. Trata gravações com até uma hora de duração e identifica até oito falantes.

Segundo o texto oficial, o resultado pode ser orientado através de instruções. A mesma gravação de uma reunião pode dar origem a uma transcrição com etiquetas de falantes, a uma tradução para inglês ou a uma resposta a uma pergunta como quais decisões foram tomadas. A NVIDIA recomenda que, para termos pouco conhecidos, se forneça contexto no próprio pedido, por exemplo numa discussão médica, indicando termos possíveis e a ortografia padrão pretendida. A publicação sublinha também que o suporte de línguas varia consoante a tarefa e que as perguntas sobre áudio foram treinadas em inglês. O modelo suporta ainda marcas temporais ao nível da palavra.

Nos resultados, distinguem-se as medições de terceiros das da própria empresa. No Hugging Face Open ASR Leaderboard, o modelo aparece em primeiro lugar entre os modelos abertos para inglês, com uma taxa média de erro de palavras (WER) de 5,33%. Em multilingue, a média é de 4,62% em sete línguas, e em áudio longo de 10,98%, valores que a NVIDIA descreve como os mais baixos entre os modelos abertos avaliados na comparação do cartão do modelo. No Artificial Analysis, o modelo empata no primeiro lugar entre os modelos abertos com 2,8% de AA-WER, com cerca de 4 mil milhões de parâmetros ativos contra 24 mil milhões do modelo com que empata. Na diarização, a NVIDIA refere o valor de erro mais baixo no leaderboard da David AI, que cobre 21 línguas, e o primeiro lugar na comparação do VoiceArena, com 14 sistemas.

A empresa apresenta ainda o Granary v2, um conjunto de dados multilingues e um pipeline de curadoria reutilizável, que se podem usar com as ferramentas de ajuste fino do NeMo Speech. Num caso de estudo na área médica, a NVIDIA afirma que o ajuste fino reduziu a WER em oradores não vistos durante o treino em 45,8% relativos face ao melhor prompt. Trata-se de um resultado reportado pela própria empresa, sem avaliação independente neste material. Segundo a publicação, o modelo funciona numa única GPU NVIDIA, desde um DGX Spark até sistemas Blackwell de centro de dados, e a empresa indica que é possível escolher onde o áudio é processado.

A Agora, cuja plataforma de voz e vídeo em tempo real alimenta conversas em aplicações, mostrou num exemplo com aulas gravadas como as marcas temporais por palavra permitem apresentar a transcrição ao lado da reprodução, para que os alunos vejam o que foi dito e quando. A NVIDIA recomenda, como em qualquer modelo de fala, que se verifiquem nomes, mudanças de falante e respostas contra a gravação original. Os valores de desempenho citados provêm da empresa e de leaderboards públicos, pelo que devem ser lidos como indicadores comparativos e não como garantia de resultados em todos os contextos de utilização.

Porque importa

A transcrição deixa de ser apenas a conversão de palavras em texto: o mesmo modelo responde a instruções, identifica falantes e traduz. A publicação refere ainda a possibilidade de correr o modelo na infraestrutura própria, uma opção que pode interessar em contextos com dados sensíveis, embora o material de origem não avalie esse cenário. Os resultados de leaderboard servem para comparar modelos, mas devem ser validados com áudio real do contexto de uso.

Fontes

NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and AdaptHugging Face ↗