Liquid AI LFM2.5 QAD: 97% de calidad en 4 bits

Liquid AI recupera 97% de la calidad BF16 al cuantizar LFM2.5 con un método nuevo

Liquid AI publicó el 19 de agosto de 2026 los checkpoints QAD Q40 de su familia LFM2.5 — versiones de 4 bits entrenadas con Quantization-Aware Distillation (QAD), una técnica que destila un modelo profesor en alta precisión hacia un estudiante ya cuantizado. El resultado, según la propia compañía, es que los modelos retienen 97,1%, 96,5%, 97,4% y 96,6% de su rendimiento BF16 original sobre razonamiento, seguimiento de instrucciones, uso de herramientas y tareas agénticas, manteniendo el mismo tamaño de memoria y velocidad de un Q40 nativo.

Los modelos actualizados son LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct y LFM2.5-2.6B, todos disponibles como archivos GGUF en Hugging Face. Para un founder hispanohablante, la cifra clave es la recuperación del 97%: durante años la cuantización agresiva implicaba aceptar caídas de calidad visibles, y ahora esa penalización práctica desaparece para los modelos pequeños de Liquid.

¿Qué es Quantization-Aware Distillation y por qué importa?

La cuantización tradicional post-entrenamiento (PTQ) comprime los pesos de un modelo ya entrenado a menor precisión, lo que suele costar entre un 3% y un 8% de accuracy. QAD invierte el orden: primero se entrena al modelo estudiante ya en 4 bits, usando como profesor un modelo en BF16, de modo que el estudiante aprende a comportarse como el profesor pese a la cuantización.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

En la práctica, esto significa que un LFM2.5-350M QAD Q4_0:

  • Alcanza calidad comparable a Q5KM con un 4–33% más de throughput de decodificación.
  • Un LFM2.5-1.2B-Instruct o 2.6B QAD Q40 iguala la calidad de Q4K_M con un 3–14% más de throughput.
  • Iguala, donde aplica, a los checkpoints UD-Q4KXL de Unsloth, una referencia externa fuerte en PTQ.

Las pruebas de velocidad se ejecutaron en hardware edge real: MacBook Pro, NucBox EVO-X2, Samsung Galaxy S26 Ultra y Raspberry Pi 5 — los dos primeros en GPU, los dos últimos en CPU Arm.

Qué modelos se actualizaron y qué cambia para el desarrollador

Los cuatro checkpoints actualizados cubren el rango completo de la familia LFM2.5 que Liquid AI ha consolidado en los últimos meses. LFM2.5-230M, lanzado el 25 de junio de 2026, es el modelo más pequeño y según VentureBeat supera a modelos 4× más grandes en extracción de datos, con 213 tokens/s en un Galaxy S25 Ultra y 42 tokens/s en una Raspberry Pi 5. LFM2.5-VL-3B, anunciado el 12 de agosto de 2026, extendió la familia a visión-lenguaje con 3,1B parámetros y soporte para 16 idiomas, según Unite.AI. Los QAD Q4_0 aplican la misma lógica de eficiencia al lado de inferencia local.

El uso es directo: cualquier runtime compatible con GGUF Q4_0 los consume. El snippet publicado en el blog es:

llama-cli -hf LiquidAI/LFM2.5-350M \
  --hf-file LFM2.5-350M-QAD-Q4_0.gguf \
  -p "What is C. elegans?"

No hay cambio de pipeline: quien ya ejecutaba los GGUF nativos ahora puede actualizarse y recuperar calidad sin mover el resto de su stack.

¿Qué significa esto para tu startup?

Si tu producto corre un LLM en el dispositivo del usuario — un asistente en una app móvil, un copilot en una Raspberry Pi, un agente embebido en un robot — el anuncio cambia tres ecuaciones reales:

  • Coste de inferencia: ejecutar en local deja de pagar por tokens de API. Para founders con productos de consumo, el ahorro de un modelo Q4_0 vs. una llamada a GPT-5.5 o Claude Opus 4.7 suele ser de uno o dos órdenes de magnitud por usuario activo.
  • Latencia: eliminar el round-trip a la nube permite UX en tiempo real, clave para asistentes conversacionales, OCR en vivo o robots. El blog menciona throughput sostenido en una sola GPU suficiente para casi mil millones de tokens de salida por día.
  • Privacidad y soberanía: los datos del usuario nunca salen del dispositivo, lo que simplifica el cumplimiento en sectores como salud, legal o fintech en LATAM y Europa.

Dos acciones concretas que puedes tomar esta semana:

  • Audita tus llamadas a la API por tarea. Identifica las que son extracción, resumen corto, clasificación o tool-calling simple — típicamente candidatas a migrar a un modelo local pequeño. Migra esas primero a LFM2.5-350M o 1.2B-Instruct con el QAD Q4_0 GGUF y mide latencia p95 en tu hardware objetivo.
  • Prototipa un fallback offline. Sustituye el caso feliz en la nube por el modelo local: si la red falla o el plan enterprise se queda sin cuota, tu producto sigue funcionando. Es un argumento comercial potente para clientes B2B que temen quedarse sin servicio.

El contexto: la cuantización se vuelve estratégica

Liquid AI no está sola en esta carrera. Cohere anunció en mayo de 2026 su Command A+ con Quantization-Aware Distillation como pieza central: cuantizó solo los expertos MoE a 4 bits, mantuvo las rutas de atención críticas en precisión completa y logró una compresión casi lossless que corre en una sola NVIDIA Blackwell B200 o dos H100, según VentureBeat. La técnica deja de ser experimental y se consolida como estándar para entregar modelos grandes en hardware pequeño.

Mientras tanto, la investigación académica también acelera: un equipo de UC San Diego y San Diego State University publicó en enero de 2026 el framework QMC, que combina cuantización outlier-aware con co-diseño de memorias emergentes (ReRAM + MRAM) y reporta reducciones de 6,3×–7,3× en memoria y 12,5× en latencia frente a FP16. Lo que une ambos frentes — Liquid AI con modelos abiertos y UCSD con hardware nuevo — es la misma pregunta: cómo seguir exprimiendo más capacidad por watt en el edge.

Conclusión

Los QAD Q4_0 de LFM2.5 son un paso pequeño en cifras — 4 bits, 230M a 2,6B parámetros — pero conceptualmente enorme: la cuantización ya no obliga a elegir entre tamaño y calidad. Para founders construyendo productos con IA en el dispositivo, el mensaje es claro: la inferencia local dejó de ser una solución de nicho y se está convirtiendo en la opción por defecto para tareas de extracción, agentes ligeros y experiencias offline.

El siguiente movimiento inteligente no es esperar al modelo perfecto, sino empezar a migrar las cargas de trabajo que ya no necesitan la nube.

Fuentes

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Daily Shot: Tu ventaja táctica

Lo que pasó en las últimas 24 horas, resumido para que tú no tengas que filtrarlo.

Suscríbete para recibir cada mañana la curaduría definitiva del ecosistema startup e inversionista. Sin ruido ni rodeos, solo la información estratégica que necesitas para avanzar:

  • Venture Capital & Inversiones: Rondas, fondos y movimientos de capital.
  • IA & Tecnología: Tendencias, Web3 y herramientas de automatización.
  • Modelos de Negocio: Actualidad en SaaS, Fintech y Cripto.
  • Propósito: Erradicar el estancamiento informativo dándote claridad desde tu primer café.

📡 El Daily Shot Startupero

Noticias del ecosistema startup en 2 minutos. Gratis, todos los días.

Share to...