A Hugging Face publicou, a 12 de novembro de 2026, um guia técnico sobre como afinar (fine-tuning) o TRELLIS.2, um modelo de geração de objetos 3D. Segundo o artigo, o objetivo é permitir que equipas adaptem um modelo generalista a uma categoria concreta de objetos, em vez de depender apenas do comportamento do modelo pré-treinado. O texto é assinado por Suvaditya Mukherjee, com a participação de Merve, e foi publicado no blogue da plataforma.

O problema identificado pelos autores é que um modelo de propósito geral pode falhar em detalhes importantes para uma aplicação específica. Como exemplo, o artigo refere a necessidade de geometria precisa em modelos de mobiliário. Na experiência descrita, usou-se um subconjunto do Google Scanned Objects (GSO) com 188 objetos de calçado. Nos testes iniciais, o modelo pré-treinado produzia sapatos com aspeto correto, mas com solas incorretas, e a equipa testou se um LoRA melhorava essa parte.

Para isso, o guia descreve a arquitetura do TRELLIS.2 em cinco etapas: remoção do fundo da imagem com BiRefNet, codificação com DINOv3-L, previsão da estrutura grosseira, geração de geometria detalhada e geração de materiais, com exportação para malha texturizada. Segundo o artigo, os adaptadores LoRA são colocados sobretudo no modelo de estrutura esparsa, porque o seu resultado orienta a fase de geometria. A equipa afirma que escolher o que congelar é tão importante como escolher o que treinar.

LoRA, abreviatura de low-rank adaptation, treina pequenas matrizes de adaptação mantendo os pesos originais congelados, o que reduz parâmetros treináveis e memória. O guia recorre à biblioteca PEFT da Hugging Face. Os scripts podem ser executados em Hugging Face Jobs, com contentores em hardware na nuvem, ou localmente com Docker. Para usar o serviço na nuvem, o texto indica a necessidade de um token HF_TOKEN e de acesso ao DINOv3, que é um modelo com acesso restrito, bem como o envio prévio das malhas do conjunto de dados para o Hub.

Os autores sublinham que o formato O-Voxel, usado pelo TRELLIS.2, é uma grelha de voxels esparsa que guarda apenas a superfície do objeto, o que acelera o cálculo. Cada voxel guarda geometria local, como um vértice de malha, e atributos de material. O artigo afirma que um CPU converte uma malha em O-Voxel em segundos e que uma GPU faz o caminho inverso também em segundos, e que o modelo usa apenas cerca de 10% dos voxels da grelha.

Quanto aos resultados, o excerto disponível não apresenta métricas detalhadas de avaliação em dados de teste, pelo que não é possível afirmar ganhos quantitativos específicos. O artigo inclui uma secção de resultados e outra de direções futuras, mas o material fornecido não permite resumir os seus números. Para avaliar o alcance prático, o leitor deverá consultar diretamente o artigo original.

Porque importa

Para leitores em Portugal, o guia é relevante sobretudo para equipas de design, jogos, simulação ou robótica que trabalhem com modelos 3D e precisem de precisão numa categoria específica. Quem quiser experimentar deve confirmar o acesso ao DINOv3 com restrições, os custos de Hugging Face Jobs e as licenças dos conjuntos de dados usados, já que o material fornecido não especifica preços nem condições de utilização aplicáveis em Portugal ou na UE.

Fontes

The Definitive Fine-Tuning Guide for 3D Generation ModelsHugging Face ↗