Uma equipa da Dharma-AI afirma ter reduzido em 77% o custo de inferência de um sistema de avaliação automática de redações em português, ao especializar o vocabulário do modelo para a tarefa. A abordagem, denominada VocabX, foi aplicada ao Qwen3-4B sem alterar o modelo-base. Os resultados foram apresentados num artigo publicado na Hugging Face a 21 de outubro de 2026; a equipa diz que os dados pertencem a uma versão do estudo ainda em revisão e podem mudar antes da publicação do trabalho.

O sistema em causa recebe uma redação, o enunciado e textos de apoio, e devolve uma avaliação em formato JSON, com uma nota e um comentário por competência. Segundo os autores, embora o Qwen3-4B já estivesse ajustado para essa tarefa, continuava a usar o tokenizador original, concebido para vários idiomas e tipos de texto. No avaliador, essa configuração dividia expressões recorrentes — incluindo a estrutura JSON e os nomes das competências — em mais tokens do que o necessário.

A equipa procurou adaptar o vocabulário ao domínio, preservando, segundo o artigo, o mesmo modelo-base, dados e receita de treino. A motivação não se limita a reduzir o número de tokens produzidos. Os autores explicam que, durante a geração, o modelo processa a resposta token a token e, a cada passo, calcula pontuações para os elementos do vocabulário. Um vocabulário mais pequeno pode, assim, reduzir também o trabalho associado à camada final do modelo, conhecida como LM head.

O artigo distingue ainda o custo de ler o texto de entrada do custo de gerar a resposta. Na fase de prefill, o modelo processa a entrada; na fase de decode, produz a saída passo a passo. Para o caso medido, os autores estimam que gerar um token custava 7,4 vezes mais do que ler um token. Afirmam, porém, que essa relação depende do hardware, do tamanho dos lotes, do contexto e de outros fatores, pelo que não deve ser generalizada como uma constante.

A redução de 77% é apresentada pela própria equipa como um resultado medido na aplicação de avaliação de redações, não como uma comparação independente. O material disponível não detalha aqui os valores absolutos, o protocolo de medição ou o desempenho da avaliação antes e depois da mudança. Também não permite concluir que a especialização produza ganhos semelhantes noutros modelos, idiomas ou tarefas. A equipa diz que o artigo completo sobre VocabX será publicado posteriormente.

A proposta desafia a ideia de que o tokenizador é uma característica fixa do modelo-base. Para aplicações com linguagem e formato de saída previsíveis, adaptar o vocabulário pode, em princípio, reduzir tokens gerados e cálculos associados às opções pouco utilizadas. A utilidade prática dependerá, contudo, de validação adicional: além dos custos, será importante conhecer o impacto da alteração na qualidade das avaliações e a facilidade de aplicar o método a outros sistemas.

Porque importa

O trabalho sugere que a tokenização pode ser uma variável relevante para reduzir custos em sistemas especializados, sobretudo quando geram respostas repetitivas. Mas a redução anunciada é específica de uma aplicação e foi comunicada pelos próprios autores; são necessários mais detalhes e validação independente para avaliar a sua generalização.

Fontes

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real ApplicationsHugging Face ↗