Os modelos de embeddings multi-vetor, como o ColBERT, atribuem um vetor a cada token e permitem que cada parte de uma consulta encontre correspondência em partes diferentes de um documento. Com a pontuação MaxSim, cada vetor da consulta seleciona o seu melhor correspondente no documento e as pontuações são somadas. Essa expressividade tem um custo, porque armazenar centenas de vetores por documento cresce rapidamente. O texto dá como exemplo 200 vetores de 128 dimensões com quantização residual de 4 bits, que exigem 12,8 KB por documento, ou cerca de 12,8 GB para um milhão de documentos.

A técnica de compressão analisada é o token pooling, que funde vetores de token semelhantes. No Sentence Transformers, a classe HierarchicalTokenPooling agrupa os vetores com clustering hierárquico de Ward, fundindo em cada passo os dois grupos que menos aumentam a dispersão interna. Cada grupo é depois representado pela sua média, e os vetores resultantes são normalizados novamente para pontuação MaxSim. Com pool_factor=4, cada documento mantém aproximadamente um quarto dos seus vetores originais, por isso documentos mais longos conservam proporcionalmente mais capacidade. Por omissão, o primeiro token não é fundido e a agregação aplica-se apenas aos documentos, e não às consultas.

O autor apresenta três formas de controlar o orçamento de vetores. O parâmetro max_tokens define um máximo fixo por documento, incluindo os tokens protegidos. O pool_factor define uma proporção do número original de vetores. O distance_threshold usa um limiar partilhado de distância de fusão, permitindo que a contagem de vetores varie conforme a geometria dos embeddings. A distinção é relevante quando os documentos têm comprimentos muito diferentes, porque o pool_factor deixa o tamanho da representação crescer com o conteúdo, enquanto o limiar pode aumentar a contagem quando há mais embeddings distintos a preservar.

A ideia central do artigo é o treino consciente da agregação. Em vez de comprimir apenas um modelo treinado de forma normal, o encoder aprende a preservar a informação que sobrevive quando os seus vetores são fundidos. Segundo o próprio autor, com pool_factor=4 um modelo treinado normalmente retém 94,6% do nDCG@10 não agregado no NanoBEIR, com redução de quatro vezes nos vetores de documento, e o treino consciente da agregação eleva essa retenção para 97,8% com o mesmo orçamento de armazenamento. São resultados reportados pelo autor na publicação, pelo que convém lê-los como indicações do método e não como garantias gerais.

O texto situa o trabalho em investigações anteriores, nomeadamente o Learn to Pool de Stefan Josef e um estudo sobre regularização de pooling da LightOn, que também exploram treino direcionado e orçamentos adaptativos. A publicação foca-se na compreensão do método e num exemplo curto e reproduzível com Sentence Transformers, que usa uma função de perda envolvente e uma aceleração opcional por kernel. Inclui ainda uma secção sobre a combinação de técnicas de compressão, o que sugere que estas abordagens podem ser usadas em conjunto, embora os detalhes concretos dessa combinação devam ser consultados diretamente no artigo e no código publicado.

Porque importa

Para quem gere sistemas de pesquisa com grandes volumes de documentos, o armazenamento é um fator real de custo e de desempenho. Se a abordagem de treino consciente da agregação mantiver ganhos de qualidade em avaliações independentes, pode permitir obter resultados mais próximos dos modelos não comprimidos sem aumentar o espaço ocupado. O artigo é sobretudo técnico e os números vêm do próprio autor, pelo que a sua aplicação a outros conjuntos de dados deve ser testada antes de ser adotada em produção.

Fontes

Token Pooling-Aware Training for Multi-Vector Embedding ModelsHugging Face ↗