A NVIDIA publicou a 5 de novembro de 2026 um texto no seu blogue sobre a pressão crescente sobre a memória dos sistemas de inteligência artificial. Segundo a empresa, modelos maiores, contextos mais longos e aplicações agênticas aumentam a procura por memória das GPU, num momento em que a oferta escasseia e os preços sobem. A tendência deverá manter-se no curto prazo. A resposta proposta pela empresa não passa apenas por acrescentar mais memória ao chip, mas por uma abordagem de codesenho que abrange GPU, CPU, redes, armazenamento e software.
Segundo o texto, a memória de alta largura de banda (HBM) é o nível mais rápido, mais caro e mais disputado da hierarquia. Os pesos do modelo e a cache KV competem pela mesma capacidade limitada. Abaixo situam-se a memória da CPU, os SSD locais e o armazenamento partilhado, que trocam velocidade por mais capacidade a menor custo por bit. A analogia usada compara a HBM a um armazém, em que a largura de banda corresponde às docas de carga: um armazém maior só ajuda se as docas conseguirem movimentar o inventário a tempo.
O texto atribui o aumento da pressão a modelos maiores, contextos mais longos e inferência agêntica. Os modelos de fronteira têm biliões de parâmetros, e a cache KV cresce à medida que as chamadas a modelos e ferramentas se repetem, podendo processar até 3 milhões de tokens em alguns casos. A geração aumentada por recuperação (RAG) acrescenta ainda mais contexto. A NVIDIA afirma que, da arquitetura Blackwell Ultra à plataforma Vera Rubin, a capacidade de HBM por GPU subiu cerca de 3%, enquanto o throughput agêntico por dólar aumentou até 30 vezes no benchmark SemiAnalysis AgentX, segundo a própria empresa.
Entre as técnicas descritas estão a redução dos pesos com o formato NVFP4, que ocupa menos espaço do que o FP8, e a distribuição dos pesos por até 72 GPU num sistema NVL72. A empresa refere também que vários modelos recentes foram lançados com checkpoints NVFP4, incluindo FLUX.2 [klein], Inkling, Beam 1.0 e Nemotron 3.5 Super VL. Do lado da cache KV, o texto menciona a CPU Vera, a memória LPDDR ligada às GPU Rubin e o Dynamo, que move o contexto inativo para a memória de contexto CMX, partilhada entre servidores e com custo por bit inferior ao da HBM.
Importa separar as alegações do fabricante de resultados verificados de forma independente. Os números de desempenho e de custo por dólar provêm da NVIDIA e de um benchmark referido pela própria empresa, pelo que devem ser lidos com cautela até existirem avaliações externas. No material disponível não há dados independentes sobre preços de memória nem sobre a disponibilidade dos componentes. Ainda assim, a discussão sobre hierarquias de memória e armazenamento para inferência reflete uma preocupação que se torna central à medida que a inferência cresce.
Porque importa
A memória é um dos limites apontados pela NVIDIA à inferência de IA, sobretudo em aplicações agênticas que mantêm contexto durante muitas chamadas. Se a abordagem de hierarquia de memória produzir os efeitos descritos, os custos por tarefa poderão mudar para fornecedores de nuvem e empresas. Para leitores em Portugal, o tema interessa a quem planeia infraestruturas de IA ou contrata serviços de inferência, já que o preço e a disponibilidade de memória pesam nesses custos.