A Ai2 anunciou o Olmo-core 3, uma atualização da infraestrutura aberta que utiliza para desenvolver modelos de linguagem. O sistema foi concebido para treinar modelos de mistura de especialistas (MoE, na sigla inglesa) de grande escala e foi avaliado com mais de um bilião de parâmetros totais. A organização apresenta-o como parte da infraestrutura da próxima geração de Olmo e disponibiliza um relatório técnico, código e uma demonstração interactiva.
Nos modelos MoE, cada unidade de texto processada activa apenas um subconjunto dos especialistas do modelo. Esta abordagem pode aumentar a capacidade total sem exigir que todos os parâmetros participem em cada operação. Contudo, a Ai2 assinala que os parâmetros continuam a ter de ser armazenados e actualizados durante o treino, enquanto a distribuição dos dados pelos especialistas gera custos de comunicação entre GPUs. À medida que o modelo cresce, esses custos podem reduzir a vantagem computacional esperada.
A principal alteração face à implementação anterior do Olmo-core é a passagem de uma configuração baseada em paralelismo de dados totalmente fragmentado (FSDP) para outra baseada em paralelismo de dados distribuído (DDP). Segundo a Ai2, o novo sistema mantém os especialistas nas GPUs e encaminha os dados necessários para cada um, evitando reunir e voltar a fragmentar pesos do modelo em cada pequeno lote de treino. Num teste preliminar com oito GPUs NVIDIA B300, um modelo MoE de 47 mil milhões de parâmetros atingiu 52 mil tokens por segundo por GPU, contra 19.400 na implementação anterior — cerca de 2,7 vezes mais, de acordo com a organização.
A infraestrutura combina paralelismo de especialistas, que distribui os especialistas pelas GPUs, com paralelismo de pipeline, que reparte camadas do modelo por grupos de processadores. Inclui ainda um optimizador distribuído, que divide entre GPUs o estado usado para actualizar os parâmetros. A Ai2 destaca também técnicas para reduzir o custo do encaminhamento e da computação, incluindo o armazenamento de metadados de encaminhamento nas GPUs e a combinação de operações de especialistas em cálculos maiores.
Em testes controlados com quatro GPUs B300, a Ai2 mediu o efeito do formato numérico MXFP8, de menor precisão, face ao BF16. Com MXFP8 aplicado às componentes em que a organização observou maior benefício, o débito de treino aumentou cerca de 21% e a memória activa máxima desceu de 103 para 95 GiB. A Ai2 atribui a maior parte do ganho à computação feed-forward e à transferência de dados entre especialistas. Os resultados são benchmarks divulgados pelo próprio laboratório; a informação disponível não indica uma avaliação independente.
A Ai2 afirma que aumentou o conjunto de especialistas de oito para 128, mantendo quatro activos por token e cerca de 3,2 mil milhões de parâmetros activos por token. Nesse teste, a capacidade total passou de 4,6 para 47 mil milhões de parâmetros, com uma redução do débito de treino inferior a 5%. A organização diz ainda ter avaliado a infraestrutura acima de um bilião de parâmetros, mas a informação disponível não detalha esse benchmark. A publicação do código permite a investigadores e outros laboratórios examinar e testar o sistema, embora os resultados dependam do hardware e da configuração utilizados.
Porque importa
A disponibilização de código e ferramentas de treino pode ajudar investigadores e laboratórios a experimentar modelos MoE maiores. Os ganhos anunciados dependem da configuração e do hardware e não devem ser confundidos com resultados validados de forma independente.