A Ai2 substituiu um escalonador baseado em prioridades por um sistema que combina orçamentos de tempo de GPU, partilha hierárquica equitativa e um contrato de execução por fatias temporais. A mudança é descrita num artigo publicado na Hugging Face a 9 de outubro de 2026. A equipa de infraestrutura da Ai2 apresenta o sistema como uma forma de dar prioridade a investigação de maior impacto e manter a ocupação dos clusters.

A organização afirma gerir milhares de GPUs NVIDIA H100, B200 e B300, distribuídas por clusters com dimensões entre 88 e 1024 GPUs. Os recursos servem cerca de 150 investigadores, cujo trabalho inclui treino de modelos de linguagem e visão, simulação para aprendizagem por reforço em robótica e trabalho posterior ao treino para aplicações científicas. Segundo a Ai2, os pedidos de computação excedem a capacidade disponível: em qualquer momento, a procura corresponde a duas ou três vezes o número de GPUs existentes.

No sistema anterior, as equipas tinham limites para a quantidade de GPUs que podiam usar em tarefas protegidas contra interrupção. Tarefas que podiam ser interrompidas podiam ultrapassar esses limites quando havia GPUs inativas. A Ai2 relata que alguns utilizadores mantinham tarefas sem trabalho efetivo às quais se podiam ligar quando precisassem, por considerarem que não conseguiam iniciar tarefas de depuração com rapidez suficiente. A organização também diz que, com o tempo, todas as tarefas agendadas passaram a usar a prioridade elevada, deixando os níveis inferiores sem tempo de GPU.

A Ai2 afirma ainda que os engenheiros de serviço passavam a maioria do tempo de resposta a pedidos a negociar a interrupção organizada de tarefas não interrompíveis em máquinas com problemas de manutenção. A empresa relaciona estes problemas com a competição por um recurso escasso: decisões tomadas por cada equipa para proteger o seu próprio trabalho podem produzir um resultado menos favorável para o conjunto.

Como resposta, a organização chegou a atribuir conjuntos de GPUs em exclusivo a projetos considerados importantes. Segundo o artigo, essa solução podia deixar GPUs inativas quando uma equipa não tinha experiências prontas, enquanto outras continuavam à espera de capacidade. A Ai2 descreve essa prática como uma tentativa manual de ajustar necessidades de investigação variáveis a uma alocação estática.

A alternativa anunciada substitui a atribuição exclusiva por orçamentos de tempo de GPU, juntamente com partilha hierárquica e um contrato de execução por fatias. A Ai2 afirma que a mudança deslocou a discussão sobre quanto tempo de computação cada projeto deve receber: de decisões operacionais caso a caso para um processo administrativo de orçamentação mais transparente. A organização apresenta disponibilidade, ocupação, impacto e utilização como métricas distintas para pensar a gestão dos clusters; o artigo identifica o impacto das decisões de escalonamento como foco desta mudança.

Porque importa

A distribuição de GPUs determina que trabalhos conseguem aceder a capacidade de computação escassa. A experiência descrita pela Ai2 é uma tentativa de tornar mais transparente a decisão sobre quanto tempo de GPU cabe a cada projeto.

Fontes

Impactful scheduling for GPU clustersHugging Face ↗