A NVIDIA e a AI4Bharat, laboratório de investigação em línguas indianas do IIT Madras, apresentaram o corpus Nemotron-pretraining-Indic-v1, com cerca de 2,8 biliões de tokens para 22 línguas indianas. A informação foi publicada a 16 de outubro de 2026, num artigo da NVIDIA alojado na Hugging Face. Segundo os autores, o conjunto de dados e a pipeline aberta de geração serão disponibilizados em breve; o artigo não indica uma data concreta de lançamento.
O corpus reúne 2 601,0 mil milhões de tokens em escrita nativa e 224,6 mil milhões em texto romanizado, de acordo com a contagem dos autores, feita com o tokenizador Gemma-4. A escrita nativa cobre as 22 línguas; a romanização — texto numa língua indiana escrito com caracteres latinos — está disponível para 12. As línguas com as duas formas incluem bengali, hindi, tâmil e urdu. Os autores salientam que os registos podem incluir traduções e variantes de escrita do mesmo conteúdo, pelo que os números não correspondem a documentos ingleses únicos. Também distinguem estas contagens do orçamento de tokens usado num treino: descrevem o inventário retido e dependem do tokenizador.
A equipa descreve um processo que parte de documentos selecionados em inglês e combina tradução ao nível do documento, avaliação da qualidade e reparação dirigida dos resultados. O material de origem inclui, entre outros conteúdos, matemática, código e perguntas com respostas. Segundo a publicação, os resultados são verificados face aos documentos de origem, com controlos destinados a preservar elementos como equações, tabelas e código. A pipeline, que os autores descrevem como acelerada por GPU, deverá incluir instruções, fluxos de trabalho com modelos de linguagem e verificações de qualidade.
A NVIDIA e a AI4Bharat apresentam a disponibilização da receita de geração como uma forma de permitir que outros grupos reproduzam ou adaptem o processo, incluindo com documentos próprios. O artigo diz que os dados sintéticos traduzidos complementam texto produzido originalmente nas próprias línguas, que continua a ser essencial para representar conhecimento local e contexto cultural. A publicação não apresenta esses dois tipos de dados como substitutos um do outro.
A publicação refere ainda que o pré-treino continuado do Nemotron 3.5 Super VL incorporou 10 mil milhões de tokens em línguas indianas, provenientes de um subconjunto de 12 línguas deste corpus e de texto natural. Esse volume não equivale ao total do conjunto: os cerca de 2,8 biliões de tokens descrevem o inventário retido, enquanto os tokens usados num treino dependem da mistura escolhida. Os autores dizem que tencionam aproveitar o corpus em futuros modelos Nemotron, mas não especificam novos lançamentos.
As 22 línguas correspondem às enumeradas na Constituição da Índia. O artigo associa-as a 97% da população do país, ou quase 1,2 mil milhões de pessoas, com base no recenseamento de 2011. O projeto acrescenta dados sintéticos traduzidos e uma receita aberta de geração aos recursos disponíveis para o desenvolvimento de modelos nessas línguas. A publicação assinala, contudo, que o texto naturalmente produzido nas línguas indianas continua a ser importante para incluir conhecimento local e contexto cultural.
Porque importa
O corpus e a receita de geração poderão alargar os recursos disponíveis para desenvolver modelos em línguas indianas. Os autores sublinham que os dados sintéticos traduzidos complementam, mas não substituem, texto produzido originalmente nessas línguas.