TRELLIS.2 y el problema real del 3D generativo: los detalles
Hugging Face publicó scripts y contenedores para ajustar TRELLIS.2, un modelo popular de generación 3D, sobre tus propios activos. El dato que resume el problema: en las pruebas iniciales, el modelo preentrenado generaba zapatos que parecían correctos, pero las suelas estaban mal. Tras el ajuste fino con LoRA, el F-score medio pasó de 0,276 a 0,803 en nueve objetos de prueba.
Para un founder que trabaja con activos 3D, esa brecha es la diferencia entre un catálogo usable y uno que hay que corregir a mano.
La generación 3D tiene usos en robótica, simulación, medios y entretenimiento. El reto es que en esos campos es difícil que los objetos generados obedezcan reglas estrictas y estandaricen representaciones. Hay muchos formatos (GLB, PLY) y muchas representaciones (NeRFs, 3D Gaussian splatting), cada una con ventajas y desventajas.
Leíste lo que hace la IA. ¿Y en tu negocio?
Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.
👥 Quiero el Kit →Qué cambia TRELLIS.2 frente a otros modelos 3D
TRELLIS introdujo una representación interna común, la unified latent representation. Sus decodificadores convierten esa representación al formato de salida requerido, así que no hay que usar un modelo distinto por cada formato. El mismo equipo lanzó después TRELLIS.2, que mejora la representación de la estructura 3D.
Pero ninguno de los dos ofrece una forma sencilla de adaptarlo a una tarea específica. Un modelo de propósito general puede equivocarse en detalles que son críticos para una aplicación concreta. Ahí entra el ajuste fino.
Cómo funciona el pipeline: cinco etapas
TRELLIS.2 tiene cinco etapas principales:
- BiRefNet elimina el fondo de la imagen de entrada.
- DINOv3-L codifica la imagen en tokens de características.
- El sparse-structure flow DiT predice la forma gruesa del objeto: un latente de 16³ × 8 que un decodificador VAE convierte en una rejilla de ocupación de 64×64×64.
- El shape flow DiT genera la geometría detallada, en formato O-Voxel a 512×512×512.
- El texture flow DiT genera materiales y texturas.
El pipeline exporta el resultado como una malla texturizada en GLB.
O-Voxel es el formato 3D de TRELLIS.2: una rejilla de vóxeles dispersa que conserva solo los vóxeles de la superficie. Como el formato es compacto, una CPU convierte una malla a O-Voxel en segundos, y una GPU hace el camino inverso en segundos. Los latentes dispersos usan solo aproximadamente el 10% de los vóxeles, así que no se gasta cómputo en espacio vacío.
Qué congelar y qué ajustar: la decisión que define el resultado
Aquí está la lección central del tutorial: elegir qué congelar importa tanto como elegir qué ajustar.
El equipo añadió adaptadores LoRA solo al sparse-structure flow DiT y al shape flow DiT, porque controlan la forma y la geometría. Congeló el texture flow DiT.
La razón es de datos: el dataset tiene mapas de color difuso con iluminación «horneada», pero le faltan los mapas de material separados que esa etapa necesita. Si se entrenara el texture flow DiT con esos mapas, podría aprender a mostrar la iluminación como una propiedad de superficie y olvidar lo que ya sabía: el problema conocido como catastrophic forgetting. Además, el problema era la forma de la suela, y el modelo base ya genera buenos colores y texturas.
LoRA (low-rank adaptation) ajusta un modelo entrenando matrices adaptadoras pequeñas mientras mantiene congelados los pesos originales. Eso reduce los parámetros entrenables y la memoria necesaria para sus gradientes y estado del optimizador. El equipo usó la librería PEFT de Hugging Face.
LoRA en números: 9,3 millones de parámetros
El experimento usó un subconjunto de Google Scanned Objects (GSO) con 188 objetos de calzado, de los 1.030 objetos del dataset. Nueve quedaron reservados para evaluación y se entrenó con los otros 179.
Para un dataset así de pequeño, LoRA es mejor opción que el ajuste fino completo: cuesta mucho menos y no sobrescribe lo que el modelo ya hace bien.
La configuración entrena aproximadamente 9,3 millones de parámetros adaptadores en total para los dos DiT:
- Adaptadores de rank 8 en las capas de atención y feed-forward (MLP) del sparse-structure flow DiT.
- Adaptadores de rank 16 en las capas de atención del shape flow DiT.
El rank define el tamaño de las matrices adaptadoras: un rank más alto permite que el adaptador aprenda más.
Cuánto cuesta entrenarlo: tiempos y hardware
Hugging Face Jobs ejecuta cargas de trabajo en contenedores sobre hardware en la nube. El tutorial ofrece dos imágenes Docker, una para preprocesamiento y otra para ajuste fino, y ambas se pueden correr en Jobs o en tu propia máquina.
El preprocesamiento usa Blender para renderizar 16 vistas de cada objeto, que luego se usan como imágenes de condicionamiento. Para los 188 objetos, la corrida completa tomó aproximadamente 1 hora en un job a100-large. El entrenamiento usó una A100 de 80 GB por corrida: el run del sparse-structure tomó 7,2 horas y el del shape, 3,6 horas.
Antes de empezar hacen falta tres cosas: un HF_TOKEN, acceso a DINOv3 (es un modelo con gating) y subir tus mallas al Hub si usas tu propio dataset.
Resultados: qué mejora y cuánto
La métrica que mejor cuenta la historia es el F-score @ 0.02, que combina precisión y recall de la superficie generada frente a la referencia. En la comparación de nueve objetos, el modelo base tuvo un F-score medio de 0,276, frente a 0,803 con los adaptadores de calzado. La distancia de Chamfer bajó de 0,174 a 0,033 y la consistencia de normales subió de 0,530 a 0,804. Con ambos adaptadores, el F-score fue mejor en los nueve objetos reservados.
Un detalle honesto del tutorial: las curvas de pérdida muestran cómo cambia el objetivo de entrenamiento, pero no miden directamente la calidad de la geometría generada. Por eso hay que comparar salidas en objetos no vistos.
¿Qué significa esto para tu startup?
1. El ajuste fino ya no es un proyecto de meses. Con contenedores listos y un dataset pequeño, puedes tener adaptadores entrenados en una tarde de cómputo. Si tu producto depende de un catálogo 3D (e-commerce, realidad aumentada, videojuegos, simulación robótica), vale la pena evaluar si un modelo generalista alcanza o si un LoRA sobre tu categoría resuelve el detalle que hoy corriges a mano.
2. Empieza por la etapa que causa el error, no por todo el modelo. El caso de las suelas es un buen marco: identifica qué componente del pipeline produce el defecto (estructura, geometría o materiales) y ajusta solo ese. Congelar el resto ahorra cómputo y evita el olvido catastrófico.
3. Revisa tus datos antes de elegir el objetivo. El equipo no entrenó la etapa de texturas porque su dataset no tenía los mapas de material necesarios. Antes de definir qué ajustar, confirma que tienes las etiquetas correctas para esa etapa; si no, el entrenamiento puede aprender el artefacto equivocado.
4. Mide con métricas de geometría, no solo con la pérdida. Chamfer, F-score y consistencia de normales son las que dicen si el resultado sirve. La pérdida de flow matching varía con los objetos, el ruido y los timesteps, así que no es un buen indicador final.
El siguiente paso del ecosistema
El equipo plantea extender estas decisiones a otros modelos de generación 3D, como Pixal3D y UniLat3D, y a modelos de Gaussian splatting y generación de mundos como HunyuanWorld 2.0 y NVIDIA Lyra 2.0, cuyas representaciones y pipelines pueden requerir métodos distintos.
La conclusión práctica es simple: la ventaja competitiva en 3D generativo no está en el modelo base, que cualquiera puede descargar, sino en el ajuste fino sobre tu categoría de objetos y tus datos.
No se encontraron datos adicionales verificables en fuentes externas para esta nota; el análisis se apoya en la documentación técnica original de Hugging Face.
Fuentes
Leíste lo que hace la IA. ¿Y en tu negocio?
Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.
👥 Quiero el Kit →
