O blog da Hugging Face publicou a 18 de novembro de 2026 um texto de Tarek Ziadé sobre a execução de modelos de linguagem do tipo mistura de especialistas (MoE), com cerca de 180 mil milhões de parâmetros, num computador com 32 GB de memória. A ideia central é que, nestes modelos, os especialistas representam mais de 90% dos pesos e apenas alguns são ativados em cada token. Segundo o texto, o motor Strata mantém os especialistas mais usados na VRAM da placa gráfica e envia o restante para a RAM ou para o disco. O autor refere um relato de quem correu o Qwen3.8-Flash-Next num Mac M4 de 32 GB, a 13,5 tokens por segundo, e explica que o seu objetivo é fazer o mesmo modelo funcionar no seu Mac com Transformers.

A parte técnica do artigo compara como diferentes motores lidam com modelos que não cabem na memória. Segundo o texto, o llama.cpp pode manter os especialistas na CPU, mas, quando estes não cabem na RAM, a cache de páginas degrada-se. O vLLM permite descarregar pesos para a RAM fixada, porém os especialistas usados atravessam o PCIe em cada token, sem cache e sem camada de disco. A biblioteca Transformers, através do Accelerate, copia para a GPU o banco completo de especialistas de cada camada, mesmo quando só são usados oito ou dez. Num Mac, a memória é partilhada entre CPU e GPU, pelo que descarregar para a CPU não liberta memória.

As medições foram feitas num A10G de 24 GB com RAM abundante, usando o Qwen3.6-35B-A3B. Segundo o texto, o Strata, em Q8_0, atinge entre 82 e 88 tokens por segundo na geração, contra 63 a 64 do llama.cpp com a mesma quantização e 35 a 36 do llama.cpp em BF16. O vLLM em FP8, com descarga apenas dos especialistas, chega a 20,1 tokens por segundo, e a versão BF16 com 50 GB descarregados fica em 7,3. A Transformers com Accelerate fica em 0,16 tokens por segundo. Harry Mellor reexecutou o vLLM com flags melhores. Trata-se de um cenário de um utilizador e uma GPU, não de uma validação independente.

O resumo do artigo indica que a transmissão de especialistas diretamente do SSD fica a 6% do Strata na geração de tokens. Esta comparação é apresentada pelo autor e não é acompanhada de dados de terceiros no excerto disponível. O próprio autor reconhece que 13,5 tokens por segundo é demasiado lento para o seu uso com agentes de programação, mas considera a abordagem interessante. O contexto de trabalho descrito inclui um PC com duas RTX 4090 e um MacBook M5 com 32 GB de memória unificada, o que ajuda a perceber a motivação de quem procura reduzir a dependência de modelos online.

O excerto analisado não apresenta uma data de lançamento formal para o Qwen3.8-Flash-Next, nem informação sobre licença ou condições de disponibilidade. Também não esclarece se o Strata está disponível como software público. Quem quiser replicar estes testes deve consultar o repositório e a documentação oficiais antes de assumir os resultados, sobretudo porque os valores dependem do hardware, da quantização e das flags usadas. A mensagem prática do texto é que, em modelos MoE, o desempenho depende também da política de cache e da velocidade do SSD e do PCIe, e não apenas da capacidade da GPU.

Porque importa

Para quem desenvolve software ou usa computadores portáteis e de secretária para trabalho, o texto sugere que modelos MoE maiores podem correr localmente com menos memória, o que pode reduzir a dependência de serviços online. Os resultados, porém, referem-se a hardware, quantizações e flags específicos. Antes de adotar estas técnicas, convém confirmar a licença do Strata e do modelo, a disponibilidade do software e as regras internas de utilização de dados.

Fontes

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with TransformersHugging Face ↗