A Hugging Face apresentou o TorchTPU, um backend que acrescenta suporte nativo para unidades de processamento tensorial (TPUs) ao PyTorch. Segundo uma publicação da empresa, Transformers, Diffusers e Kernels podem executar nestes aceleradores da Google com código PyTorch. O artigo foi publicado a 20 de outubro de 2026 e descreve a novidade como uma alternativa ao percurso anterior através do PyTorch/XLA, também conhecido como torch_xla.

As TPUs são aceleradores da Google concebidos para operações matemáticas usadas por redes neuronais. A empresa disponibiliza-os no Google Cloud, desde configurações com um chip até pods com milhares de chips. Com TorchTPU, explica a Hugging Face, a TPU passa a ser tratada como um dispositivo PyTorch: no exemplo de Transformers, o modelo é carregado com device_map="tpu" e os dados são enviados para o mesmo dispositivo.

A Hugging Face caracteriza o método anterior, baseado em PyTorch/XLA, como funcional, mas com particularidades que podem dificultar a utilização. Aponta a execução diferida de operações, recompilações causadas por pequenas alterações e dificuldades de depuração. A empresa afirma que o Optimum TPU deixa de ser necessário para executar modelos de Transformers e Diffusers em TPUs com o novo suporte.

O TorchTPU inclui integração com torch.compile, suporte para treino distribuído e kernels Pallas ajustados às TPUs, de acordo com a publicação. Para Diffusers, a empresa apresenta um modo eager e um modo compilado. Refere também que, para modelos demasiado grandes para um chip, TensorParallelConfig permite repartir o transformer por vários chips durante o carregamento. A publicação diz que muitos pipelines populares já suportam esta configuração.

Entre os exemplos apresentados estão gerações de imagem e vídeo numa Cloud TPU v6e-4. A Hugging Face indica que os modelos foram repartidos por quatro chips, com precisão bf16 e batch 1. Num exemplo de imagem com 1024 por 1024 píxeis e 40 passos, a geração demorou 3,5 segundos em modo compilado e 8 segundos em modo eager. A fonte não identifica o modelo associado a esse exemplo.

Estes tempos são resultados publicados pela própria Hugging Face e não incluem uma comparação independente. A empresa não apresenta, nesta publicação, resultados para outras configurações de hardware ou uma comparação com plataformas alternativas. Para instalar TorchTPU numa máquina virtual com TPU, a instrução indicada usa pip install torch-tpu e um índice adicional que fornece a versão CPU do PyTorch, em vez da versão CUDA. A publicação refere ainda kernels disponíveis no Kernels Hub e a possibilidade de usar kernels da biblioteca Tokamax.

Porque importa

A integração poderá reduzir o trabalho necessário para executar código PyTorch em TPUs e usar bibliotecas da Hugging Face nesse hardware. Os exemplos publicados não permitem, por si só, comparar o desempenho com outras plataformas ou generalizar os resultados a outras cargas de trabalho.

Fontes

Hugging Face ❤️ TorchTPU: TPUs, NativelyHugging Face ↗