A Liquid AI disponibilizou experimentalmente o LFM2.5-VL-DSpark, um modelo auxiliar concebido para acelerar a inferência do seu modelo de visão e linguagem LFM2.5-VL-3B. Segundo a empresa, a descodificação pode ser até 3,13 vezes mais rápida em dispositivos locais e até 2,66 vezes mais rápida numa GPU H100. Os ganhos no tempo total de resposta são inferiores: até 2,62 vezes no dispositivo e 2,27 vezes na H100.

O DSpark usa descodificação especulativa: o modelo auxiliar propõe blocos de tokens e o modelo principal verifica cada proposta. A Liquid AI afirma que o método não altera a qualidade da saída; em geração gulosa, o resultado é igual ao obtido sem o auxiliar. A proposta acrescenta cerca de 280 milhões de parâmetros, equivalentes a 8,9% do modelo-alvo, que tem três mil milhões de parâmetros.

A empresa descreve um auxiliar com quatro camadas e blocos de nove tokens durante o treino. Para a inferência, recomenda blocos de oito ou nove, consoante o hardware. A arquitetura usa estados internos do modelo principal, recolhidos em camadas específicas, para gerar as propostas. De acordo com a publicação, o treino incluiu dez épocas sobre uma mistura de dados de ajuste supervisionado para tarefas de visão e linguagem, ponderada para os casos de utilização previstos.

Nos testes divulgados pela Liquid AI, a execução com MLX num Apple M5 Max acelerou a descodificação entre 2,30 e 3,13 vezes, enquanto a latência total melhorou entre 1,56 e 2,62 vezes. Com llama.cpp num M3 Ultra, os ganhos foram de 1,57 a 2,14 vezes na descodificação e de 1,30 a 1,77 vezes no tempo total. Na H100, a empresa reporta um ganho máximo de 2,66 vezes na descodificação e melhorias de ponta a ponta até 2,27 vezes.

As medições abrangeram seis tarefas visuais, incluindo perguntas e respostas sobre imagens, leitura de texto em imagens, legendagem, gráficos, raciocínio complexo e conversas com várias interacções, seguindo o benchmark MMSpec. Os valores são resultados divulgados pela própria Liquid AI. A empresa salienta que a técnica acelera apenas a descodificação: a codificação da imagem e o processamento inicial do pedido não são acelerados. Como estas etapas podem representar uma parte importante do tempo total, sobretudo em dispositivos locais, os ganhos globais ficam abaixo dos registados na geração de tokens.

O modelo auxiliar está disponível no Hugging Face nos formatos Safetensors e GGUF. A Liquid AI indica suporte para llama.cpp, MLX-VLM e SGLang; neste último caso, é necessária uma versão com suporte para DSpark em modelos LFM2. A publicação inclui instruções de execução para as três ferramentas. A disponibilidade é apresentada como experimental, e os números devem ser entendidos como resultados reportados pelo fabricante, não como validação independente do desempenho. A fonte não especifica uma data de lançamento para além da data de publicação do artigo.

Porque importa

O anúncio ilustra a aplicação da descodificação especulativa a modelos de visão e linguagem, mas também os limites dos ganhos quando etapas anteriores à geração não são aceleradas. Os valores divulgados são testes da Liquid AI, não uma validação independente.

Fontes

Accelerating vision-language models with LFM2.5-VL-DSparkHugging Face ↗