LookAtMyQuant comprime Inkling-2-Mini de 18,89 GB a 5,38 GB
Un compilador de cuantización open source dejó a Inkling-2-Mini, el modelo de Thinking Machines Lab de 26.400 millones de parámetros, en un archivo de 5,38 GB que resuelve 134 de 200 problemas de matemáticas de GSM8K. La noticia no es el modelo: es que el método es público, corre en una Mac y costó unos 34 dólares de GPU en el caso equivalente de Qwen3.5-4B.
LookAtMyQuant no comprime a ciegas. Mide cuánto daña cada pieza del modelo al ser comprimida y después elige un código por pieza para que todo entre en un presupuesto de tamaño con el menor daño acumulado. El código está bajo licencia MIT.
¿Qué es LookAtMyQuant y por qué no es un cuantizador más?
La mayoría de los cuantizadores aplican la misma receta a todas las matrices: un esquema fijo, un número de bits por peso y a rezar. LookAtMyQuant lo trata como un problema de asignación de presupuesto.
Leíste lo que hace la IA. ¿Y en tu negocio?
Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.
👥 Quiero el Kit →El compilador mide el daño de cada pieza por separado —dejando el resto del modelo exacto— y registra la divergencia KL contra el modelo original. Con esas mediciones, la fase de asignación elige un código por pieza y no necesita GPU para correr.
El objeto de prueba es Inkling-2-Mini: 26,4B de parámetros físicos y 5,4B activos, un MoE con 128 expertos y top-8, con los bloques L6–17 repetidos tres veces, lo que da 48 visitas lógicas por token. El compilador lo llevó de 18,89 GB de pesos en texto a 5,38 GB (1,63 bits por peso) y a 8,87 GB (2,69 bits por peso).
Para lograrlo usa códigos trellis con vectores de bloque hasheados en 4 KB de SRAM (ht2/ht3), códigos trellis por fila (rtr1/rtr4) y un piso tr2 en el bucket final del lm_head.
Para dimensionar el salto: según unite.ai, Thinking Machines Lab lanzó Inkling 2 Mini el 20 de noviembre de 2026 con una huella de memoria de unos 20 GB, y sus opciones locales incluyen Ollama en Mac con al menos 32 GB de RAM. El mismo modelo en 5,38 GB entra en una máquina bastante más modesta.
Los números: 5,38 GB que le ganan a un archivo de 9,14 GB
La evaluación se hizo contra el mismo profesor BF16, con GSM8K (test de 200 problemas, greedy), los 164 problemas ejecutables de HumanEval y ventanas de texto en 13 idiomas:
| Modelo | Tamaño | GSM8K (200) | HumanEval (164) | Pooled vs profesor |
|---|---|---|---|---|
| Original BF16 | 18,89 GB | 147/200 (73,5%) | 66/164 (40,2%) | 100,0% |
| LookAtMyQuant 5,4 GB | 5,38 GB | 134/200 (67,0%) | 60/164 (36,6%) | 91,2% |
| Unsloth UD-IQ1_S | 7,76 GB | 127/200 (63,5%) | 46/164 (28,0%) | 81,6% |
| LookAtMyQuant 8,9 GB | 8,87 GB | 148/200 (74,0%) | 58/164 (35,4%) | 96,8% |
| Unsloth UD-Q2KXL | 9,14 GB | 132/200 (66,0%) | 49/164 (29,9%) | 85,3% |
| Unsloth UD-IQ3_XXS | 11,66 GB | 148/200 (74,0%) | 68/164 (41,5%) | 101,4% |
El dato que importa para decidir: a 5,38 GB, el archivo supera a Unsloth UD-Q2KXL (9,14 GB) tanto en GSM8K como en HumanEval con un 41% menos de tamaño. Y a 8,87 GB iguala al original BF16 en GSM8K, recorta la KL 2,34× en inglés, chat y código, y queda 29,6% por debajo de UD-Q2KXL en las 13 lenguas evaluadas.
¿Cómo se logra? Trellis, Fisher y 4.000 pasos de destilación
La receta es cuantización post-entrenamiento con códigos trellis, calibrada sobre las propias soluciones matemáticas del modelo, con los tokens de dígitos ponderados 10× y los bits asignados fila por fila según información de Fisher. Después vienen 4.000 pasos de destilación, en los que cada capa se recuantiza una vez desde los pesos originales.
El costo es la parte que sorprende a cualquiera que haya peleado con infraestructura de entrenamiento:
- Construcción y cuantización (lm2Build): 37 minutos en una H100
- Destilación (lm2Finetune): 2,7 horas en una B200
- Calibración: 15 minutos en H100; importancia por fila: 1 minuto en H100
- Evaluación matemática: 20 minutos por modelo en H100
El pipeline completo de la receta para Qwen3.5-4B costó alrededor de 34 dólares de GPU.
El mismo compilador ya había mostrado resultados en otros modelos:
- Qwen3.5-4B: de 53,7 GB a 1,23 GB (2,3 bits por peso). Resuelve 330 de 540 problemas de matemáticas exactas, contra 328 de Bonsai 2 Ternary 4B de Prism ML (1,20 GB) y 359 del original. Su KL en texto retenido es de 0,45 nats frente a 0,59 de Bonsai.
- Qwen3.8-27B: de 53,7 GB a 7,2 GB (2,1 bits por peso). Resuelve 401 de 540 problemas, los mismos que el original, mientras el UD-IQ2_XXS de Unsloth del mismo tamaño resuelve 348. También supera a ese GGUF en HumanEval (73,8% contra 67,1%), MMLU (78,8% contra 75,0%) y GSM8K (94,5% contra 92,7%).
- Gemma 4 E2B: su GGUF tiene 12× menos KL que Q4KM al mismo tamaño de archivo.
¿Corre rápido en una Mac?
Sí, y con un truco extra. Los modelos se ejecutan con lamq y runtime_mlx con kernels Metal propios para Apple Silicon, opcionalmente acompañados de un drafter DSpark de 4 bits que pesa 178,9 MB.
En una M5 Max, el archivo de 5,4 GB decodifica a 73,2 tok/s en serie y 125,2 tok/s de mediana con el drafter (141,8 en matemáticas, 129,0 en razonamiento, 121,4 en código y 102,3 en prosa), con 1.037 tok/s de prefill y 5,83 GB de RAM activa. El de 8,9 GB llega a 63,1 tok/s en serie y 101,3 de mediana, con 838 tok/s de prefill y 9,32 GB de RAM activa.
El drafter se entrenó con SpecForge y costó 42 dólares. Sobre 30 prompts retenidos de hasta 256 tokens generó 2,0 veces más rápido (176 tok/s contra 88), medido el 11 de noviembre de 2026, y mantuvo el texto greedy exacto del modelo. La ganancia depende de cuán predecible sea el texto: 2,5× en álgebra, 2,0× en código, 1,2× en chat y 1,05× en narrativa.
¿Qué significa esto para tu startup?
Si vendes software con IA, la cuantización dejó de ser un detalle de infraestructura y pasó a ser una palanca directa de margen. Un modelo que necesita 18,89 GB de pesos te obliga a instancias grandes; el mismo modelo en 5,38 GB abre la puerta a hardware de gama media, a inferencia local y a agentes persistentes corriendo en el portátil del usuario.
Hay un contraste que vale la pena mirar con atención. Según unite.ai, Thinking Machines Lab entrenó y desplegó Inkling 2 Mini con precisión coincidente —20 capas en 4-bit NVFP4 y las cuatro finales en 8-bit MXFP8— porque sostiene que igualar la precisión de entrenamiento y despliegue evita la pérdida de conversión de la cuantización post-entrenamiento. LookAtMyQuant hace exactamente lo contrario: cuantiza después del entrenamiento, con destilación encima, y aun así llega a 5,38 GB con 91,2% del desempeño agrupado del profesor. Para un equipo sin presupuesto de reentrenamiento, ese camino es el viable.
Tres acciones concretas:
- Mide tu costo real de inferencia antes de decidir. Un archivo de 5,38 GB a 125 tok/s de mediana en una M5 Max cambia la economía de un producto con agentes que corren todo el día. Si tu factura de API crece más rápido que tus usuarios, la ruta local ya es una alternativa con números, no una promesa.
- Prueba el pipeline con un modelo chico. El repositorio trae un flujo completo con SmolLM2-360M: medir, asignar y construir. La medición de 2.312 piezas tomó unos 50 minutos en una L40S y la fase de asignación no requiere GPU. Es la forma más barata de entender si el método sirve para tu caso antes de comprometer cómputo.
- Valida en tus tareas, no en el benchmark ajeno. El archivo de 5,38 GB baja de 40,2% a 36,6% en HumanEval: la compresión no es gratis. El drafter preserva el texto greedy exacto, pero la cuantización sí cambia las respuestas. Corre tus propios prompts de producción antes de reemplazar nada.
Una advertencia de transparencia: el repositorio no publica los pesos densos ni los resultados por problema detrás de las cifras de LookAtMyQuant 2, y tampoco el script que genera los números de su página. Los resultados son reproducibles en método —la receta y el costo están documentados— pero no en artefactos. Trátalos como un punto de partida para tu propia medición, no como un certificado.
Conclusión
LookAtMyQuant no compite por el mejor benchmark: compite por hacer que un modelo de 26B quepa en una máquina que ya tienes. Con licencia MIT, un costo de cómputo de decenas de dólares y un runtime propio para Apple Silicon, el cuello de botella dejó de ser el acceso a la tecnología y pasó a ser la decisión de qué vale la pena comprimir. Para founders hispanohablantes con equipos chicos y presupuesto ajustado, esa es una diferencia que se nota en la caja.
Fuentes
- LookAtMyQuant (repositorio original) (fuente original)
- Thinking Machines Lab Releases Inkling 2 Mini for Local Devices — unite.ai
Leíste lo que hace la IA. ¿Y en tu negocio?
Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.
👥 Quiero el Kit →













