O Ai2 publicou no Hugging Face o StateBench, um benchmark para avaliar como os modelos de linguagem acompanham alterações de estado em documentos longos. Segundo o texto do blog, este tipo de tarefa aparece na leitura de código, onde variáveis são atribuídas e reatribuídas, e em narrativas em que personagens e objetos mudam de posição ou de mãos. Os autores argumentam que o problema não é uniforme, porque algumas situações exigem apenas encontrar a atualização mais recente, enquanto outras obrigam a seguir uma cadeia de alterações em que um único passo falhado compromete a resposta final.

O benchmark organiza os problemas em quatro níveis, definidos pelo tipo de operação de atribuição envolvida. O nível mais simples, designado r-trivial, usa atribuições imutáveis, em que o valor nunca muda. Segue-se o nível aperiódico, com reatribuição por valor, e depois o nível solúvel, com atualizações que dependem do valor atual, como x = x + 5. No topo está o nível geral finito, que inclui atribuição por referência, em que uma variável adota o valor de outra. O exemplo mais exigente é o problema S5, ilustrado com um mágico que troca uma bola de posição entre cinco copos. Os autores associam estes níveis à teoria de Krohn–Rhodes, uma base algébrica que decompõe problemas de estado em primitivas atómicas.

Nos testes com modelos pré-treinados abertos, aplicados aos níveis r-trivial, aperiódico e geral finito, o blog indica que os transformadores lidam bem com os casos mais simples, e com alguma robustez nos níveis solúvel e aperiódico. Segundo pressupostos teóricos padrão, porém, estas arquiteturas deveriam falhar nos problemas gerais. Em contraste, a arquitetura recorrente e híbrida Gated DeltaNet, com uma atualização de memória mais flexível, teria, em princípio, capacidade para os quatro níveis. Os autores afirmam ainda que modelos recorrentes e híbridos generalizam bastante mais quando são treinados diretamente nestas tarefas.

Quanto aos modelos de fronteira, o texto menciona o Gemini 3.8 Flash, o Claude Opus 5.5 e o GPT-6 Sol e Luna, e afirma que estes continuam a falhar nas formas mais difíceis de acompanhamento de estado quando os inputs se tornam mais longos. Trata-se de uma conclusão dos autores, descrita no anúncio, e não de um resultado verificado de forma independente. Os excertos disponíveis não apresentam tabelas completas de pontuações nem detalhes de metodologia suficientes para comparar, com rigor, o desempenho de cada sistema em cada nível.

Para quem acompanha a avaliação de modelos, o interesse do StateBench está na separação entre tarefas simples e difíceis, que pode revelar diferenças de arquitetura que os testes centrados apenas nos casos extremos não mostram. O Ai2 disponibiliza o relatório técnico, os dados e o código, o que permite verificação direta por investigadores e engenheiros. Ficam em aberto questões sobre a frequência real destes padrões em aplicações do dia a dia e sobre se as vantagens observadas em treino direto se mantêm noutros tipos de tarefas e de documentos.

Porque importa

O benchmark ajuda a perceber que tipos de raciocínio sobre estado cada arquitetura consegue suportar, um dado útil para avaliar modelos em tarefas como leitura de código ou análise de documentos extensos. Como as conclusões vêm dos próprios autores, o valor prático depende da verificação independente dos dados e do código já publicados.

Fontes

StateBench: Testing how language models track state changes over long documentsHugging Face ↗