NaiveAI: modelo de código a 2.100 tokens por segundo

Naive-N0.5-Flash: 2.100 tokens por segundo y un código que aún no gana

NaiveAI, una compañía china, presentó Naive-N0.5-Flash, un modelo de pesos abiertos para tareas de programación que alcanza un pico de unos 2.100 tokens por segundo en una sola ráfaga y sostiene cerca de 1.000 durante el razonamiento. Para un founder que paga inferencia por token, ese número no es un detalle de marketing: cambia cuántas iteraciones puede permitirse un equipo de ingeniería en una tarde.

Pero el propio análisis de latent.space, que probó el modelo contra DeepSeek V4.1 Flash 1017 y GLM 5.3 Flash, deja claro que el pico es un techo y no una media. La velocidad mediana sí es real; la velocidad promedio, no tanto.

¿Qué es Naive-N0.5-Flash y de dónde sale?

Naive-N0.5-Flash es una evolución de MiMo-V2.5, el modelo de Xiaomi. Según la fuente, MiMo-V2.5 es un modelo sparse Mixture-of-Experts de 310.000 millones de parámetros con 15.000 millones activos, entrenado con 48 billones de tokens, y su backbone hereda el diseño híbrido de MiMo-V2-Flash, que mezcla sliding-window attention con self-attention global.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

NaiveAI partió de esos pesos y los adaptó a capas de DeepSeek Sparse Attention mediante entrenamiento continuo en varias etapas. Según el blog técnico de la compañía, eso requirió unos 3,25 billones de tokens adicionales sobre los 48 billones originales, y cerca de 3 billones de ellos se entrenaron con longitud de contexto fija de 1 millón de tokens y tasa de aprendizaje constante.

El discurso de la empresa es ambicioso: un modelo construido en gran parte por IA y entrenado para hacer investigación en IA, con la mejora recursiva como objetivo de largo plazo. Eso es una promesa declarada, no un resultado verificado.

Un detalle de contexto que conviene tener presente: Xiaomi dio de baja los modelos MiMo-V2.5 y MiMo-V2.5-Pro y redirigió a sus usuarios hacia la serie V2.6, según reportes de prensa. Es decir, NaiveAI construyó sobre un checkpoint que su dueño original ya retiró.

¿Cómo logra 1.000 tokens por segundo?

La velocidad no viene del modelo solo, sino del motor. El sistema se apoya en un drafter de decodificación especulativa (Naive-N0.5-Flash-FP8-Draft) y un motor de inferencia propio, NaiveRT, medido en un solo nodo de ocho GPUs Blackwell y ajustado para latencia de decodificación de un solo stream, no para throughput por lotes.

Los números que reporta la compañía:

Tasa de aceptación del drafter: 70,6% con thinking desactivado, pero solo 43,4% con thinking activado.
Velocidad de decodificación: unos 984 tokens/s en la fase de razonamiento y 1.816 tokens/s en la fase de respuesta.
Una ronda especulativa completa (draft, verificación, sampling y commit) tarda 3,4 ms en NaiveRT frente a 12,3 ms en SGLang, una reducción del 72,4%.

La consecuencia práctica: el pico de 2.100 tokens/s es un límite superior. La velocidad real depende de cuántos tokens borrador acepte el modelo por ronda, y eso varía con el prompt, la longitud de contexto y el contenido generado.

¿Cómo rinde frente a DeepSeek y GLM?

Los benchmarks publicados por cada fabricante sitúan a Naive-N0.5-Flash en el medio de la tabla. En NL2Repo-Bench queda primero con 71,9, frente a 68,2 de DeepSeek V4.1 Flash 1017 y 56,3 de GLM-5.3-Flash. En DeepSWE v1.1 cae a 67,8, por debajo de los 77,0 de DeepSeek. En Agent’s Last Exam marca 32,4, también por debajo de los 35,4 de DeepSeek y por encima de los 26,3 de GLM.

El dato que falta es el más importante: al cierre del análisis, Artificial Analysis todavía no publicaba métricas de NaiveAI. Para calibrar, la fuente cita los índices de inteligencia de los rivales: 45 para DeepSeek V4.1 Flash 1017 (Max) y 43 para GLM-5.3-Flash. Como referencia de la familia, The Next Web reportó que MiMo-V2.6-Pro de Xiaomi, sucesor de la línea en la que se basa Naive, alcanzó 46 en el mismo índice y fue el modelo de pesos abiertos mejor puntuado de su clase.

¿La velocidad se paga en tokens?

Aquí está el hallazgo más útil del análisis. El equipo corrió 10 preguntas fáciles de MATH-500, 10 medias de GPQA-Diamond y 10 difíciles de HLE-Diamond por modelo, con un límite de 256K tokens de completado.

En las preguntas difíciles de HLE con thinking activado, Naive-N0.5-Flash promedió unos 108.500 tokens de completado: cerca de nueve veces el promedio de GLM 5.3 Flash (high) y 11 veces el de DeepSeek V4.1 Flash 1017 (high). Pero la mediana cuenta otra historia: en las 30 preguntas, la mediana fue de unos 3.200 tokens, muy por debajo de su media de más de 51.000. Unas pocas respuestas con trazas de razonamiento larguísimas inflaron el promedio.

En latencia de extremo a extremo, que es la métrica justa: la pregunta mediana tardó 3,1 segundos con Naive (thinking), frente a 5,3 de GLM 5.3 Flash (high) y 10,1 de DeepSeek V4.1 Flash 1017 (high). En medias quedan casi empatados: 45,3 s Naive, 45,0 s DeepSeek y 86,9 s GLM. En las preguntas difíciles, Naive fue más lento en promedio que DeepSeek: 89,8 s contra 79,7 s.

¿Y en código real? Tres apps, tres resultados

El equipo pidió a seis variantes de modelo construir las mismas tres aplicaciones web: un sistema solar 3D interactivo, un árbol 3D generado con semilla aleatoria y un port a navegador del libro Ray Tracing in One Weekend.

Sistema solar: Naive-N0.5-Flash (thinking) produjo el mejor resultado, con manchas solares y luces de ciudad en el lado nocturno de la Tierra. DeepSeek quedó cerca, sin cinturón de asteroides. GLM falló en iluminación.
Árbol 3D: DeepSeek y Naive empataron en calidad. La sorpresa fue Naive con thinking desactivado: no produjo una app usable.
Ray tracing: los tres con thinking funcionaron. DeepSeek ganó por eficiencia y por usar el ancho completo de pantalla.

Dos advertencias del propio análisis: la muestra es de 10 preguntas por nivel y no se calificó la exactitud de las respuestas. Una respuesta corta y rápida solo sirve si es correcta.

Precios: dónde se ubica Naive-N0.5-Flash

Naive apunta a US$0,10 por millón de tokens de entrada, US$0,40 por millón de salida y US$0,01 por millón de tokens leídos de caché. Eso lo pone en la banda de US$0,20 a US$0,60 por millón de salida donde viven varios modelos Flash capaces. Para comparar, The Next Web reportó que MiMo-V2.6 Flash de Xiaomi se ofrece a US$0,14 de entrada y US$0,28 de salida por millón de tokens.

¿Qué significa esto para tu startup?

La lección no es cambiar de modelo. Es que la velocidad de inferencia se está convirtiendo en una variable de producto, no solo de infraestructura.

Mide latencia mediana, no tokens por segundo. El pico de 2.100 tokens/s no es lo que verá tu usuario. Instrumenta la mediana de tiempo de extremo a extremo en tus propios prompts antes de decidir.
Presupuesta por tokens de salida, no por precio unitario. Un modelo barato por token que razona nueve veces más en tareas difíciles puede costar más que uno caro. Fija un techo de thinking budget por tipo de tarea.
No desactives el razonamiento en tareas de código complejas. Naive con thinking off no logró producir la app del árbol. Si tu caso de uso es generación de código, el modo rápido puede fallar justo donde importa.
Haz tu propia evaluación con corrección de exactitud. El análisis no calificó respuestas. Si vas a migrar un pipeline, corre tu propio set con grading antes de mover producción.

Conclusión

Naive-N0.5-Flash es un experimento interesante: un modelo abierto que ataca la latencia desde el motor de inferencia y no solo desde el tamaño. Su velocidad mediana es real y su rendimiento en código está en el rango de DeepSeek V4.1 Flash 1017 y GLM 5.3 Flash, con un primer puesto en NL2Repo-Bench y un segundo lugar en el resto.

Pero el pico de 2.100 tokens/s es un techo, la verbosidad en tareas difíciles encarece el uso real y el índice independiente de Artificial Analysis todavía no existe. Para un equipo que prioriza iteración rápida sobre economía de tokens, vale la pena probarlo. Para producción, la decisión sigue dependiendo de tu propia evaluación, no del benchmark del fabricante.