NCM, el método que genera texto 31 veces más rápido

NCM: generar texto por capas en lugar de token por token

El paper Next-Concept Modeling (NCM) propone un cambio de arquitectura para los modelos de lenguaje: en lugar de escribir palabra por palabra, el sistema construye el texto en dos etapas, de lo grueso a lo fino. Un VQ-VAE residual multiescala codifica el texto en una jerarquía de códigos discretos, y un transformer genera un nivel por vez, prediciendo todos los códigos de ese nivel en paralelo.

La promesa es concreta y medible. Según los autores, con la misma escala de parámetros NCM logra mejor perplejidad generativa que el baseline de difusión más fuerte en LM1B, corriendo 21 veces más rápido. En OpenWebText es competitivo con ese mismo baseline y corre 10 veces más rápido. Y en XSum iguala su ROUGE-L siendo 31 veces más rápido.

El dato que más debería interesar a un equipo de producto está en el último benchmark: en la tarea de razonamiento de Sudoku, NCM supera a los baselines autorregresivos y de difusión en todos los niveles de dificultad, usando menos evaluaciones de función. No solo es más rápido: en ese tipo de problema también es más preciso.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

¿Por qué la velocidad de inferencia se volvió el campo de batalla?

Durante años la conversación fue sobre entrenar modelos más grandes. El eje se movió. En su keynote del OCP Global Summit 2026, la CEO de AMD, Lisa Su, declaró 2026 "el año de la inferencia" y estimó que la inferencia representará cerca del 60% del cómputo de IA ese año, con el mercado de aceleradores para data centers acercándose a US$1,5 billones hacia 2030, según reportó TweakTown.

El dinero sigue esa lógica. Un informe de ResearchAndMarkets sobre el mercado de chips de inferencia, difundido por GlobeNewswire, señala que los compradores están priorizando el costo por token, la eficiencia energética y la economía del despliegue por encima de la velocidad de entrenamiento. Cuando el gasto se mide por token servido, cada milisegundo y cada paso de cómputo se convierten en línea de costos.

Ahí es donde apunta NCM. Los modelos de difusión de lenguaje (DLM) ya ofrecen muestreo paralelo y son más rápidos que los autorregresivos, pero el propio paper identifica tres problemas que frenan su adopción: se degradan rápido cuando se reducen los pasos de muestreo, procesan la secuencia completa en cada paso y necesitan muchas pasadas sobre el dataset para alcanzar buena calidad. La propuesta de dos etapas ataca justamente esos tres frentes: al predecir un nivel entero de códigos a la vez, reduce la cantidad de pasos secuenciales y de evaluaciones necesarias.

Difusión: de experimento académico a producto comercial

El contexto importa porque la difusión dejó de ser un experimento de laboratorio. Inception, la empresa detrás de los primeros modelos de lenguaje de difusión comerciales, lanzó Mercury 3 el 19 de octubre de 2026, según su comunicado difundido por Business Wire. El modelo corre a 1.068 tokens por segundo con una ventana de contexto de 1 millón de tokens, y es la cuarta entrega desde Mercury 1, lanzada en junio de 2025.

El precio también es parte del argumento: US$0,20 por millón de tokens de entrada y US$0,70 por millón de salida, con una promoción de lanzamiento a la mitad, según reportó The Next Web. Entre los inversores de Inception figuran Menlo Ventures, M12 de Microsoft, el brazo de venture de Nvidia y los inversores Andrew Ng, Andrej Karpathy y Eric Schmidt, de acuerdo con el mismo medio.

Dos advertencias que conviene tener presentes. La primera: los benchmarks de Mercury 3 son autoinformados y ningún grupo externo los publicó todavía, según The Next Web. La segunda: la difusión sigue siendo una apuesta minoritaria. Google DeepMind lanzó su propio modelo de texto por difusión, DiffusionGemma, en junio, una señal de que los laboratorios grandes están probando la misma idea, pero la mayor parte del campo sigue siendo autorregresiva. NCM, en ese mapa, es una tercera vía: ni autorregresiva pura ni difusión clásica.

¿Qué alternativas hay si no quieres cambiar de arquitectura?

No todo pasa por adoptar un modelo nuevo. El equipo de ingeniería de Shopify presentó Gisting, una técnica que comprime prompts largos en un conjunto reducido de tokens aprendidos, según InfoQ. En su agente GraphQL, el prompt de sistema pasó de unos 6.000 tokens a 1.500 tokens sin perder calidad de predicción.

Los números que reporta InfoQ son el tipo de mejora que un founder puede medir en su propio producto: el tiempo hasta el primer token bajó de 438 ms a 354 ms, la latencia end-to-end cayó de 6,8 s a 4,2 s y el throughput subió de 20,2 a 23,4 consultas por segundo, lo que permitió reducir la cantidad de GPUs asignadas. La técnica es complementaria al prefix caching, según la misma fuente.

La lección de fondo: hay dos caminos para bajar el costo por token. Uno es cambiar de motor de inferencia, como propone NCM o como ya ofrecen los modelos de difusión comerciales. El otro es exprimir mejor el motor que ya tienes.

¿Qué significa esto para tu startup?

Si tu producto depende de llamar a un modelo muchas veces por sesión —agentes, búsqueda, soporte, herramientas de código—, la latencia y el costo por token son tu margen. Estos son movimientos concretos:

Mide antes de migrar. Separa el tiempo hasta el primer token de la latencia end-to-end y calcula tu costo real por token servido. Sin esa línea base, cualquier cambio de modelo es una apuesta a ciegas.
Prueba primero las optimizaciones que no tocan tu arquitectura. Compresión de prompts y prefix caching no requieren reescribir tu stack y, en el caso documentado por InfoQ, liberaron capacidad de GPU.
Diseña para poder cambiar de motor. Usa una capa de abstracción sobre el proveedor y prioriza APIs compatibles con el formato de OpenAI, como la de Mercury 3, para que migrar sea un cambio de configuración y no un proyecto de ingeniería.
Vigila los benchmarks de razonamiento, no solo los de velocidad. El resultado de NCM en Sudoku sugiere que los métodos paralelos pueden ganar también en tareas de razonamiento estructurado. Si tu producto valida datos, clasifica o resuelve problemas con pasos, ese es el benchmark que te importa.

La conclusión práctica es que la eficiencia de inferencia dejó de ser un problema de infraestructura para volverse una decisión de producto. Los modelos de difusión ya son comerciales, los métodos híbridos como NCM están mostrando ganancias de un orden de magnitud en velocidad, y las técnicas de compresión de contexto dan resultados medibles sin cambiar nada de fondo. Un equipo pequeño puede capturar buena parte de ese ahorro este trimestre, sin esperar a la próxima generación de modelos.