DeepSeek abre DeepInfer: inferencia con 80% de margen

Qué es DeepInfer y por qué DeepSeek lo libera ahora

DeepSeek publicó DeepInfer, el motor de inferencia que corre sus servicios de producción, bajo licencia Apache 2.0 en GitHub. El anuncio llegó el 20 de octubre, en el primer día de la PyTorch Conf, y viene acompañado de deepseek-recipe, la capa de codificación y decodificación de tokens que replica la lógica de la API oficial de la compañía.

El dato que ordena toda la conversación: según el documento de despliegue que acompaña al código, un solo clúster sirve 155 billones de tokens al día y genera ingresos equivalentes a US$38 por GPU-hora a precios de valle. DeepSeek describe en ese mismo documento el objetivo del proyecto como resolver "el problema central que tiene que resolver un framework de inferencia": servir a una base de usuarios enorme a un precio razonable.

Para un founder, la relevancia no está en el código en sí —pocos equipos van a montar 128 GPUs— sino en lo que revela: cómo un laboratorio de frontera contiene el costo de servir modelos a escala, y qué partes de esa receta son replicables.

Los números: 155 billones de tokens al día y US$38 por GPU-hora

DeepSeek reporta 96% de aciertos de caché de entrada, 400 ms de tiempo medio hasta el primer token y 230 tokens por segundo de generación, que suben a 300 tokens/s en tareas de código. Son cifras de primera parte, no auditadas de forma independiente, y eso hay que decirlo cada vez que se citan.

La arquitectura que las sostiene separa visión, prefill y decode, para que cada etapa escale contra su propio cuello de botella. El despliegue eficiente más pequeño que la compañía describe usa 64 GPUs para prefill y 64 para decode. En decode, DeepInfer usa expert parallelism amplio (EP64 a EP128 dentro de un supernodo) para repartir los expertos de un modelo MoE manteniendo lotes efectivos grandes.

El otro pilar es la caché. Los bloques persistentes de KV viven en un clúster de almacenamiento 3FS con aproximadamente 100 PiB de capacidad SSD, con retención de tres días para tráfico de agentes y siete días para tráfico de chatbot. Cualquier worker de prefill puede recuperar un prefijo cacheado, lo que desacopla la localidad de la caché de la ubicación del cómputo. DeepSeek habla de hasta 72 horas de caching de prompts, frente a las 12 horas que OpenAI anunció para su API.

Ahí está la clave que suele perderse en los titulares: 155 billones de tokens servidos al día no son 155 billones de tokens generados. Con 96% de aciertos de caché, la mayor parte de ese volumen es entrada reutilizada, que cuesta una fracción de lo que cuesta computar prefill nuevo o generar tokens de salida.

Qué queda fuera del código abierto (y por qué importa)

DeepSeek dice "fully open source", pero el propio reporte técnico aclara que la gestión de la caché KV y el balanceo de carga no están liberados, porque siguen acoplados a infraestructura interna. Tampoco viene incluida la desagregación prefill/decode: el README señala que el trabajo de motor ya está hecho, pero separar las etapas queda como responsabilidad del operador.

En la práctica, esto significa que lo que se libera es el motor, no el servicio. Un equipo que quiera reproducir el rendimiento publicado tiene que resolver por su cuenta el almacenamiento persistente, el ruteo y el balanceo entre réplicas. Es una diferencia importante entre "puedo leer cómo lo hacen" y "puedo correr lo mismo".

El soporte de hardware también es estrecho: NVIDIA SM100 (Blackwell) y Huawei Ascend 950. Las arquitecturas Hopper y anteriores de NVIDIA no están en la lista, y las funciones de determinismo y muestreo determinista solo corren en hardware NVIDIA. Todos los benchmarks publicados se corrieron en chips NVIDIA y son cifras propias de DeepSeek.

vLLM responde: la paridad del 6%

La respuesta más concreta vino del equipo de vLLM, que agradeció a DeepSeek por la liberación bajo Apache 2.0 y reportó throughput de decode dentro del 6% de los resultados publicados por DeepInfer en GB200, bajo una configuración equivalente. También publicó recetas de reproducción.

Esa comparación es relevante porque desarma la idea de que la eficiencia de DeepSeek es inaccesible para los motores open source existentes. Pero conviene leerla con precisión: es paridad en la etapa de decode, no una reproducción del servicio completo. No dice nada sobre operar 100 PiB de caché, sobre la economía de la retención ni sobre la latencia de punta a punta con la distribución de tráfico real de DeepSeek. Y sigue siendo una medición auto-reportada por el equipo de un motor competidor.

Sobre los márgenes, la comunidad hizo sus propias cuentas. Un análisis ampliamente compartido estimó márgenes de inferencia de entre 84% y 96% tras una corrección: el cálculo inicial implicaba unos US$49 por hora, mientras que DeepSeek reportó US$38, es decir cerca del 80% del rendimiento del benchmark en producción. Esas estimaciones asumen una mezcla de tokens muy favorable a la caché y dejan fuera el clúster de SSD, las CPUs, la red, la capacidad ociosa, las fallas, la ingeniería y el soporte. Margen de contribución alto en inferencia no equivale a rentabilidad a nivel de compañía.

El contexto de mercado: la capa de inferencia se está calentando

DeepInfer aterriza en un momento de demanda récord por servicios de inferencia, sobre todo de clientes que usan modelos open source. TechCrunch reportó que Modal Labs está cerca de cerrar una ronda de US$750 millones a una valuación de US$15.750 millones liderada por Accel, más del triple de los US$4.650 millones que valía cuatro meses antes. Bloomberg reportó que Baseten se acerca a una ronda a US$26.000 millones de valuación, el doble de junio. Y Business Insider informó que Fireworks AI busca levantar capital a una valuación de entre US$30.000 y US$40.000 millones, tras su Serie D de US$1.500 millones a US$17.500 millones en julio.

TechCrunch apunta un detalle incómodo para todo el sector: aunque los ingresos de estas compañías crecen rápido, sus márgenes son delgados, en gran medida porque el costo de adquirir o arrendar cómputo sigue siendo muy alto. Fireworks dijo en julio que superó los US$1.000 millones de ingresos anualizados y servía más de 40 billones de tokens al día. Ese es el terreno donde un stack de inferencia abierto y eficiente como DeepInfer puede mover precios.

Qué significa esto para tu startup

1. Revisa tu mezcla de caché antes de negociar precio. El mensaje más transferible de DeepInfer no es el throughput, es la estructura de costos: con 96% de aciertos de caché, el gasto real se concentra en los tokens no cacheados y en la salida. Si tu producto es un agente que reenvía instrucciones, historial de repositorio y salidas de herramientas en cada turno, tienes ahí la mayor palanca de ahorro. Mide qué porcentaje de tu factura de API es entrada repetida antes de buscar un proveedor más barato.

2. Exige benchmarks con la mezcla de tokens explícita. Cuando un proveedor te muestre tokens por segundo por GPU, pregunta por la proporción de entrada cacheada, entrada nueva y salida. Un número de throughput sin esa mezcla no es comparable con tu carga real. La propia discusión alrededor de DeepInfer muestra cómo la misma cifra puede significar cosas muy distintas según el supuesto.

3. No planifiques migrar a DeepInfer todavía. El motor es de un solo modelo (DeepSeek-V4.1-Flash) y le faltan las piezas de orquestación. Si dependes de un proveedor de inferencia, lo útil hoy es usar estas divulgaciones como referencia de negociación: saber cuánto margen hay en la capa que te están vendiendo te da contexto para discutir precios.

4. Vigila el efecto en precios, no solo en tecnología. Un stack abierto y desplegable mejora la economía de los proveedores de hosting, pero también aumenta la competencia de precios. Si tu startup consume volúmenes relevantes de inferencia, es un buen momento para renegociar contratos y para modelar escenarios donde el precio por millón de tokens baja.

Fuentes

• AINews: DeepSeek DeepInfer (fuente original)
• SiliconANGLE: DeepSeek open-sources DeepInfer
• MarkTechPost: DeepSeek Open-Sources DeepInfer
• PYMNTS: DeepSeek Open Sources Inference Tech to Lower AI Costs
• Crypto Briefing: DeepSeek open-sources DeepInfer
• TechCrunch: Modal Labs closing in on $750M round at $15.75B valuation
• Business Insider: Fireworks AI seeking funding at $30B-$40B valuation