DeepSeek abre DeepInfer, su motor de inferencia

DeepSeek libera el motor que mueve su producción

DeepSeek publicó DeepInfer, el framework de inferencia de alto rendimiento que corre sus modelos en producción, bajo licencia Apache 2.0. El dato que debería hacerte levantar la ceja: según Crypto Briefing, el motor sostiene una tasa de acierto de caché de entrada del 96%, un tiempo medio hasta el primer token de unos 400 milisegundos y una velocidad de generación de 230 tokens por segundo que escala a 300 en tareas de código.

Para un founder que paga facturas de GPU cada mes, eso no es una curiosidad técnica. Es la diferencia entre servir un agente conversacional con margen o quemar capital en cómputo.

¿Qué es DeepInfer y en qué se diferencia de vLLM o SGLang?

DeepInfer no es un framework genérico. Está construido específicamente para modelos DeepSeek y, en esta primera entrega, soporta un único modelo: DeepSeek-V4.1-Flash. El propio repositorio aclara que se trata de inferencia offline, orientada a alto throughput, no a productos que necesitan latencia mínima en tiempo real.

La genealogía importa. El proyecto reconoce en su documentación que nació construido principalmente sobre vLLM, con inspiración adicional de SGLang y TensorRT-LLM. Es decir: DeepSeek tomó las bases del ecosistema open source de inferencia y las reescribió para exprimir su propia arquitectura.

Qué trae la release, según el repositorio:

• Kernels optimizados propios: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect y kernels personalizados en TileLang.
• Paralelismo distribuido: Attention DP con CP balanceado, y MoE EP con EPLB (balanceo de expertos), pensado para modelos de mezcla de expertos.
• DSpark y verificación por confianza: decodificación especulativa que genera tokens candidatos y usa estimaciones de confianza para decidir cuáles verificar.
• SWA bounded replay: reduce el trabajo de prefill replicando solo un sufijo acotado de la ventana de atención.
• Scheduling asíncrono: solapa la planificación de lotes en CPU con la ejecución en el dispositivo, activado por defecto.
• Inferencia batch-invariant y muestreo determinista: resultados idénticos sin importar cómo se compongan los lotes.
• Salidas estructuradas: constricción de la generación a un regex, un esquema JSON o una gramática EBNF.

Lo que DeepInfer todavía no resuelve

Aquí está el matiz que separa una nota de prensa de un análisis útil. El repositorio es explícito: DeepInfer no incluye todo lo necesario para un servicio de inferencia completo. Falta un sistema de caché KV, la desagregación VE/Prefill/Decode y el balanceo de carga entre réplicas data-parallel para prefill y decode.

Traducido a la práctica: si tu equipo quiere montar un servicio en producción con esto, va a tener que construir esas piezas por su cuenta. DeepSeek aclara que la mayor parte de la funcionalidad del motor ya está implementada, pero el andamiaje de operación queda del lado del usuario.

También hay requisitos de hardware y entorno concretos: Linux, GCC 13.0 o superior, Python 3.12, CUDA 13 para NVIDIA y CANN 9.2 para Ascend. No es un pip install y listo.

¿Por qué DeepSeek apoya también chips de Huawei?

La release soporta dos familias de hardware: las GPU NVIDIA SM100 y las NPU Huawei Ascend 950. Crypto Briefing lo señala como un movimiento relevante: pone a un chip chino en pie de igualdad con NVIDIA dentro de una release oficial.

Para un equipo en LATAM o España que evalúa infraestructura, esto abre una conversación incómoda pero necesaria: la dependencia de un único proveedor de aceleradores tiene precio. Que un laboratorio de frontera publique soporte de primera clase para una alternativa es una señal de que el mercado de cómputo se está diversificando, aunque el software para Ascend siga siendo un ecosistema mucho más joven.

Los números que DeepSeek pone sobre la mesa

Crypto Briefing reporta que las cifras de rendimiento asociadas a V4.1-Flash son la parte llamativa del anuncio: 155 billones de tokens por día por clúster, 96% de acierto de caché de entrada, ~400 ms hasta el primer token y 230 tokens por segundo de generación.

El acierto de caché es el número que más deberías mirar. Una tasa del 96% implica que la mayor parte del contexto entrante se sirve desde memoria en lugar de recalcularse desde cero. En cargas con historiales largos —agentes que releen tool calls, documentos recuperados y trazas de ejecución— eso es exactamente donde se va el dinero.

El contexto de la familia V4 ayuda a dimensionar. Según TechTimes, V4.1-Flash es un modelo MoE de 552.000 millones de parámetros con una caché KV de 890 bytes por token, una cuarta parte de la generación anterior. Y según Crypto Briefing, la versión V4.1-Flash-1017 se publicó el 17 de octubre de 2026, apenas cinco semanas después del modelo al que reemplaza, con pesos abiertos bajo licencia MIT en Hugging Face y ModelScope.

Ese ritmo de publicación es, en sí mismo, el mensaje estratégico.

¿Qué significa esto para tu startup?

Primero, una distinción que muchos equipos pasan por alto: DeepInfer es Apache 2.0, los pesos de V4.1-Flash son MIT. Son dos piezas separadas con implicancias legales distintas. Si vas a construir producto encima, revisa cada licencia por separado antes de que lo haga tu inversor.

Segundo, el cálculo económico cambió de eje. Durante tres años la conversación fue sobre cómputo; ahora el cuello de botella es la memoria. Un motor que optimiza el acierto de caché y el replay acotado ataca justamente ese costo. Si tu producto es un agente que mantiene sesiones largas, este es el tipo de optimización que mueve tu unit economics.

Tercero, la advertencia que no conviene ignorar. TechTimes documenta que las cifras de benchmark de V4.1-Flash son autoinformadas por DeepSeek y que, al cierre de su cobertura, ningún tercero independiente las había verificado en producción. El mismo reporte recoge las restricciones regulatorias que varios gobiernos aplicaron a la compañía. Para un equipo que vende a empresas reguladas, ese es un factor de decisión tan real como el precio por token.

Acciones concretas para esta semana

• Mide tu acierto de caché antes de cambiar nada. Si hoy sirves agentes con historiales largos, instrumenta esa métrica en tu stack actual. Sin línea base, no puedes saber si DeepInfer te ahorra algo.
• Prueba el self-hosting con los pesos MIT. Es la vía para capturar la eficiencia de serving sin enrutar datos por la API de DeepSeek. Levanta el ejemplo de inferencia offline del repositorio en una máquina de desarrollo y mide latencia real con tu propio tráfico, no con los benchmarks publicados.
• Calcula el costo de las piezas faltantes. Antes de comprometerte, estima el esfuerzo de construir la caché KV y el balanceo de réplicas que la release no incluye. Ese trabajo de ingeniería es parte del precio.

Conclusión

DeepSeek no liberó un producto terminado: liberó el núcleo de su motor de inferencia y dejó explícito qué falta. Para el ecosistema open source, es una pieza más de un patrón que la compañía viene sosteniendo desde 2023 —modelos abiertos, ritmo de publicación agresivo y presión constante sobre el costo por token.

Para tu startup, la pregunta útil no es si DeepInfer es mejor que vLLM. Es si tu carga de trabajo se parece lo suficiente a la de DeepSeek como para que sus optimizaciones te sirvan. Si sirves agentes con contexto largo y memoria como cuello de botella, vale la pena mirarlo en serio. Si necesitas latencia mínima en tiempo real, el propio repositorio te está diciendo que esperes.

Fuentes

• DeepInfer — GitHub
• DeepSeek open-sources DeepInfer, the inference engine behind its production models — Crypto Briefing
• DeepSeek updates AI model, intensifying competition with Anthropic and OpenAI — Crypto Briefing
• DeepSeek Cuts AI Agent Memory Cost 4x — TechTimes
• What Is DeepSeek? — Built In