A Amazon publicou no Hugging Face um artigo técnico sobre o HOPE (Higher-Order Pruning of Experts), um método de poda para modelos de linguagem baseados em mistura de especialistas (MoE). O problema de partida é conhecido: nestes modelos, todos os especialistas têm de ocupar memória durante a inferência, embora, para cada token, apenas uma pequena fração seja usada. O exemplo dado no texto é o Qwen3.5-122B, com 256 especialistas em cada uma das 48 camadas MoE. Segundo a publicação, cerca de 95% dos seus aproximadamente 250 GB de parâmetros estão concentrados nessas redes, e apenas oito especialistas são ativados por camada em cada token.
A poda de especialistas consiste em eliminar permanentemente os menos úteis. A publicação destaca três vantagens: evita a latência de carregar e descarregar especialistas dinamicamente, não exige treino adicional e é compatível com a quantização. O desafio está em decidir quais remover. Os métodos existentes atribuem a cada especialista uma pontuação de importância independente, calculada com base num conjunto de calibração, e cortam os de pontuação mais baixa em cada camada. Os autores classificam estas abordagens como de primeira ordem, porque assumem que a contribuição de cada especialista é independente das restantes.
O argumento central do HOPE é que os especialistas formam grupos cooperativos, frequentemente ativados em conjunto. Os autores afirmam ter observado clusters consistentes de coativação nas suas experiências e referem trabalho independente que indica que esta cooperação é uma propriedade estável e relevante para o desempenho. Remover um especialista isolado pode parecer inofensivo, mas, se o seu parceiro for muito importante, a eliminação pode desfazer um grupo inteiro. Por isso, o HOPE considera interações par a par entre especialistas, e a vantagem tende a aumentar com taxas de poda mais elevadas.
Tecnicamente, o método procura o conjunto de especialistas a remover que minimiza o erro de poda sobre os tokens do conjunto de calibração. Como esse objetivo direto é intratável, porque o erro depende dos especialistas de substituição, que por sua vez dependem do próprio conjunto removido, o HOPE recorre a uma função substituta tratável. Os autores apresentam-na como um objetivo mais simples que aproxima a minimização direta. A derivação completa encontra-se no apêndice do artigo científico associado, que não é reproduzido na publicação analisada para esta notícia.
Os resultados apresentados pelos autores indicam que, com uma poda de 50%, o HOPE obtém a melhor classificação média entre os métodos comparados, com ganhos de até 6,1% em tarefas de programação agêntica face ao segundo melhor método de poda. Trata-se de alegações do próprio fabricante, baseadas nos testes descritos pela equipa, e não de resultados verificados de forma independente. Os excertos analisados não permitem verificar os benchmarks completos nem as margens de erro associadas.
Porque importa
Os modelos MoE de grande dimensão ocupam memória mesmo quando a maioria dos especialistas está inativa em cada token. Se um método de poda preservar o desempenho, pode reduzir a memória necessária para inferência. A utilidade real dependerá, porém, de testes independentes e da aplicação a outros modelos e tarefas.