A NVIDIA apresentou o Nemotron 3.5 Transcribe, um modelo aberto (open-weight) que converte gravações de fala em texto e que pode ser orientado através de instruções em linguagem natural. O modelo está disponível no Hugging Face e no ModelScope. Segundo a empresa, reúne num único checkpoint a transcrição, a atribuição de falantes (diarização), a tradução e a resposta a perguntas sobre áudio. A publicação indica que o modelo transcreve 40 línguas, traduz 31 delas de ou para inglês e atribui falantes em 13. Trata gravações com até uma hora de duração e identifica até oito falantes.
Segundo o texto oficial, o resultado pode ser orientado através de instruções. A mesma gravação de uma reunião pode dar origem a uma transcrição com etiquetas de falantes, a uma tradução para inglês ou a uma resposta a uma pergunta como quais decisões foram tomadas. A NVIDIA recomenda que, para termos pouco conhecidos, se forneça contexto no próprio pedido, por exemplo numa discussão médica, indicando termos possíveis e a ortografia padrão pretendida. A publicação sublinha também que o suporte de línguas varia consoante a tarefa e que as perguntas sobre áudio foram treinadas em inglês. O modelo suporta ainda marcas temporais ao nível da palavra.
Nos resultados, distinguem-se as medições de terceiros das da própria empresa. No Hugging Face Open ASR Leaderboard, o modelo aparece em primeiro lugar entre os modelos abertos para inglês, com uma taxa média de erro de palavras (WER) de 5,33%. Em multilingue, a média é de 4,62% em sete línguas, e em áudio longo de 10,98%, valores que a NVIDIA descreve como os mais baixos entre os modelos abertos avaliados na comparação do cartão do modelo. No Artificial Analysis, o modelo empata no primeiro lugar entre os modelos abertos com 2,8% de AA-WER, com cerca de 4 mil milhões de parâmetros ativos contra 24 mil milhões do modelo com que empata. Na diarização, a NVIDIA refere o valor de erro mais baixo no leaderboard da David AI, que cobre 21 línguas, e o primeiro lugar na comparação do VoiceArena, com 14 sistemas.
A empresa apresenta ainda o Granary v2, um conjunto de dados multilingues e um pipeline de curadoria reutilizável, que se podem usar com as ferramentas de ajuste fino do NeMo Speech. Num caso de estudo na área médica, a NVIDIA afirma que o ajuste fino reduziu a WER em oradores não vistos durante o treino em 45,8% relativos face ao melhor prompt. Trata-se de um resultado reportado pela própria empresa, sem avaliação independente neste material. Segundo a publicação, o modelo funciona numa única GPU NVIDIA, desde um DGX Spark até sistemas Blackwell de centro de dados, e a empresa indica que é possível escolher onde o áudio é processado.
A Agora, cuja plataforma de voz e vídeo em tempo real alimenta conversas em aplicações, mostrou num exemplo com aulas gravadas como as marcas temporais por palavra permitem apresentar a transcrição ao lado da reprodução, para que os alunos vejam o que foi dito e quando. A NVIDIA recomenda, como em qualquer modelo de fala, que se verifiquem nomes, mudanças de falante e respostas contra a gravação original. Os valores de desempenho citados provêm da empresa e de leaderboards públicos, pelo que devem ser lidos como indicadores comparativos e não como garantia de resultados em todos os contextos de utilização.
Porque importa
A transcrição deixa de ser apenas a conversão de palavras em texto: o mesmo modelo responde a instruções, identifica falantes e traduz. A publicação refere ainda a possibilidade de correr o modelo na infraestrutura própria, uma opção que pode interessar em contextos com dados sensíveis, embora o material de origem não avalie esse cenário. Os resultados de leaderboard servem para comparar modelos, mas devem ser validados com áudio real do contexto de uso.