A Dharma-AI publicou na Hugging Face, a 18 de novembro de 2026, uma prévia de um artigo sobre a previsão do tempo total de fine-tuning supervisionado em clusters de GPU partilhados. O ponto de partida é uma prática comum: estimar a duração dividindo cerca de 6·P·D operações de vírgula flutuante pela capacidade teórica das GPU, ajustada por um fator de utilização (MFU). Segundo os autores, esta conta descreve bem o ciclo de otimização, mas deixa de fora a preparação do ambiente, o carregamento do modelo, as avaliações periódicas, a gravação de checkpoints e a concorrência por I/O com outras tarefas.
Para medir a distância entre a previsão e a realidade, a equipa reuniu 272 tarefas SFT retiradas de um pool de produção com GPU NVIDIA H200, num total de cerca de 7.382 horas de GPU. Nos resultados reportados, a estimativa baseada em FLOP explica pouco do observado, com R² de 0,31 e erro absoluto médio de 12,41 horas. Um regressor CatBoost que usa apenas informação disponível antes do despacho atinge R² de 0,98, erro absoluto médio de 1,71 horas e erro mediano de 0,51 horas, em validação cruzada com cinco partições. Estes números são alegações dos autores e não foram revistos externamente no material disponível.
Os autores atribuem a melhoria a dois fatores. O primeiro é a presença de sinais específicos do treino, como a cadência de avaliação, a política de checkpoints, a carga por GPU e o regime de fine-tuning, LoRA ou treino completo. O segundo é a capacidade de aprender interações não lineares entre estas variáveis a partir de execuções anteriores. O modelo final usa 24 variáveis derivadas da configuração submetida, entre elas o número de amostras de avaliação e o número de gravações, e inclui como referência o tempo calculado pela fórmula, com MFU fixo em 0,45.
O conjunto de dados cobre famílias de modelos até 15 mil milhões de parâmetros, treinos LoRA e completos, e tarefas em 1, 2 ou 4 GPU retiradas de um pool de 8 a 32 H200 distribuídos por 1 a 4 nós. As tarefas partilhavam infraestrutura com outras cargas de treino e de inferência, pelo que os tempos medidos incluem contenção real. A duração é medida desde a atribuição das GPU até ao fim da tarefa, sem contar o tempo em fila, o que torna a previsão útil para planeamento antes do despacho.
Convém ler os resultados com cautela. A prévia indica que a versão completa ainda não está publicada no arXiv e que a amostra vem de um ambiente corporativo concreto, com uma configuração de hardware específica. Não há validação independente nem prova de que o desempenho se mantenha noutros clusters, com outros agendadores ou outras versões de software. A generalização é, por isso, uma hipótese a testar.
Para quem gere capacidade computacional, a principal ideia é que a duração de tarefas de fine-tuning pode ser prevista com mais rigor se a configuração for registada e usada como histórico. A estimativa por FLOP continua útil como referência, mas, segundo estes dados, parece insuficiente para planear a ocupação das GPU. Antes de adotar algo semelhante, convém confirmar quando sairá o artigo completo e que dados são necessários.
Porque importa
Para equipas que gerem clusters de GPU, a diferença entre uma estimativa de cálculo e uma previsão baseada no histórico de execuções pode traduzir-se em capacidade ociosa ou em atrasos em cadeia. Se a abordagem se confirmar noutros ambientes, cada organização poderá planear melhor a ocupação das suas GPU a partir das próprias tarefas. Antes de a adotar, o leitor deve verificar quando o artigo completo será publicado, que dados são necessários e se existe uma ferramenta acessível.