A Hugging Face publicou a 3 de novembro de 2026 um artigo do engenheiro Tarek Ziadé sobre um erro concreto. A 30 de julho de 2026, o Transformers passou a usar o PyTorch scaled dot-product attention (SDPA) no T5. Como efeito secundário, o decodificador do UMT5 podia consultar tokens futuros durante o treino, ou seja, ver a resposta que devia prever. Nada falhou de forma visível, e uma simples passagem direta pelo modelo não o teria detetado. O erro ficou quase dois meses no ramo principal.

A biblioteca suporta mais de 750 tipos de modelos e tem mais de 88 mil testes em CPU no ramo principal, além de mais de 200 mil testes em GPU numa execução diária. Os testes de integração carregam checkpoints reais e exercitam a API em hardware real. Correr tudo isto em cada pull request exigiria manter muitas GPU ocupadas o dia inteiro. Por isso, uma regressão pode só aparecer numa execução agendada, quando já está no ramo principal.

A proposta da equipa é reduzir o próprio modelo. Um fixture é uma versão pequena construída a partir da configuração do checkpoint real, com menos camadas e mais estreitas, mas com todos os tipos de camada do original. O tokenizador e o processador são copiados sem alterações, e o fixture é publicado uma vez e fixado para reutilização. No estudo em CPU, o fixture experimental do UMT5 tinha 66 MB de pesos, contra 1227 MB do checkpoint original. A Hugging Face sublinha que isto não substitui os testes completos.

O formato transformers-mic, ainda uma proposta, organiza cada contrato em três partes: o fixture, um caminho de utilização em Markdown, como gerar texto ou executar um passo de treino, e os baselines, isto é, resultados registados e revistos por uma pessoa. O contrato cumpre-se se o caminho de utilização continuar a produzir os baselines. Por exemplo, o contrato do SmolLM gera texto a partir de «The capital of France is» e compara os IDs dos tokens com a resposta registada, além de verificar a perda de treino e a finitude dos gradientes.

Ao repetir cinco meses de commits com contratos fixados, a equipa diz que o fixture do UMT5 assinalou a regressão desde 30 de julho até à correção, a 28 de setembro. As diferenças face ao baseline foram de 1,22 nas log-probabilidades dos rótulos e de cerca de 0,20 na perda de treino. Segundo o artigo, o erro só apareceu com a atenção SDPA, o caminho por defeito, e a variante eager sozinha não o teria revelado. Num ramo de demonstração com a correção revertida, a verificação falhou com as mesmas diferenças, e o passo do contrato T5 demorou 13,4 segundos em CPU, sem contar a preparação. São resultados da própria equipa, ainda sem validação independente.

Porque importa

O caso ilustra uma lacuna prática: um erro pode passar despercebido durante semanas se os testes disponíveis numa alteração não exercitarem o caminho afetado. A abordagem, ainda sem validação independente, visa detetar regressões antes da integração no ramo principal, sem depender de GPU dedicadas em cada pull request.

Fontes

Transformers Model Integration ContractsHugging Face ↗