A Hugging Face publicou um guia prático para analisar o desempenho de inferência no AWS Trainium através do TorchNeuron, backend de PyTorch para os aceleradores Neuron da Amazon. O artigo, assinado por Josh Longenecker e datado de 21 de outubro de 2026, é apresentado como a primeira parte de uma série sobre profiling. O objetivo é ajudar profissionais a perceber não apenas se uma operação é lenta, mas também onde é consumido o tempo de execução.

O percurso começa pela configuração do `torch.profiler` para recolher dados do runtime e do dispositivo. O exemplo usa `NeuronConfig` para escolher os fluxos de informação, os NeuronCores a observar e a pasta de saída. A configuração também permite associar o tempo no dispositivo às estatísticas agregadas do profiler, facilitando a comparação entre o tempo de CPU e o tempo de execução no acelerador. O artigo explica que o TorchNeuron se integra no PyTorch através do mecanismo de extensão `PrivateUse1`, sem exigir uma chave de despacho própria como a utilizada pelo CUDA.

A análise é feita com Neuron Explorer, uma ferramenta de visualização em navegador para traces do sistema, cronologias do dispositivo e atividade por motor. Os ficheiros gerados podem incluir o trace do framework, um executável compilado no formato NEFF e o respetivo trace de instruções NTFF. Segundo o guia, os ficheiros NEFF e NTFF correspondentes partilham um identificador numérico, que permite associá-los. A ferramenta serve para confirmar visualmente os tempos agregados e seguir uma operação desde o despacho no framework até à execução no hardware.

Para tornar a comparação concreta, o artigo acompanha RMSNorm, uma operação que combina cálculos aritméticos e reduções. São avaliadas três implementações: uma versão escrita com operações PyTorch individuais, a função integrada `torch.rms_norm()` e a versão individual compilada com `torch.compile`. Os exemplos usam as mesmas entradas, configuração do profiler e agenda de recolha, de modo a permitir uma comparação coerente. A implementação básica envolve operações como elevar ao quadrado, calcular a média, aplicar a raiz quadrada recíproca e multiplicar pelos pesos.

O guia propõe começar pela tabela `key_averages()` para localizar operações que consomem tempo no dispositivo e confrontá-las com o respetivo tempo de CPU. Em seguida, o Neuron Explorer permite investigar o percurso das operações e perceber como o trabalho é distribuído. O material fornecido não apresenta medições comparativas nem conclui qual das três implementações é mais rápida; descreve antes um método de análise. Os scripts para reproduzir o exercício são indicados como disponíveis no diretório de exemplos do projeto `torch-neuronx`.

O TorchNeuron suporta fluxos PyTorch convencionais no Trainium, incluindo execução eager, `torch.compile` e APIs padrão, e integra-se com a Neuron Kernel Interface para operadores personalizados. Estas capacidades são descritas no artigo como características do backend, não como resultados de uma avaliação independente. A publicação destina-se a leitores sem experiência prévia em profiling e apresenta a análise de RMSNorm como ponto de partida para identificar custos e comparar diferentes formas de implementar a mesma operação.

Porque importa

O profiling ajuda equipas que usam aceleradores a localizar custos de execução antes de alterar o código. O guia oferece um percurso reproduzível para relacionar as estatísticas do PyTorch com a atividade observada no Trainium, embora não forneça, nos dados disponíveis, medições independentes de desempenho.

Fontes

Profiling TorchNeuron (Part 1): System-level profiling on AWS Trainium.Hugging Face ↗