Promethevs ejecuta DeepSeek V4.1 en 12 GB de VRAM

7,4 tokens por segundo frente a 2,14: esa es la diferencia entre el motor PROMETHEVS y ejecutar DeepSeek-V4.1-Flash-1017 de forma exacta en el mismo ordenador. Pero la cifra que importa no es la velocidad, es el tamaño. El modelo ocupa 510 GB en pesos originales y corre en una máquina con una RTX 3060 de 12 GB de VRAM. Para un founder que hoy paga una suscripción en la nube para acceder al estado del arte, la pregunta deja de ser teórica: ¿qué se puede tener en casa?

¿Cómo se mete un modelo de 510 GB en una GPU de 12 GB?

La respuesta se llama compress-then-correct, un método ideado por Ryan Flavell (MAGNVS Ltd) y del que la release 0.2 es la primera implementación ejecutable. La lógica tiene cuatro piezas que se entienden mejor por separado:

Una copia 2-bit responde cada palabra. Los expertos del modelo se guardan en un formato de 2 bits, más pequeño que el FP4 original, de modo que cada token exige leer menos bytes desde el disco. Ahí está la velocidad.
La confianza del propio modelo decide qué revisar. El motor mide la distancia entre las dos mejores opciones de cada palabra. Si el margen cae por debajo de un umbral (la puerta configurada en 0,45), la palabra se marca.
Las palabras marcadas se recalculan con los pesos exactos. Un plano de corrección almacenado reconstruye el experto FP4 original, así que la respuesta de esa palabra es la del modelo completo, no la de la copia comprimida.
Una cabeza de borrador propone varias palabras a la vez. DeepSeek distribuye una draft head con el modelo y el motor verifica sus conjeturas en carriles paralelos, repartiendo el coste de leer expertos entre varias palabras.

El reparto de memoria es igual de importante: los expertos que el modelo usa más viven en la GPU, y el resto se queda en RAM y en los dos discos NVMe que forman parte del requisito de instalación.

¿Y esto cómo se aplica en tu negocio?

Dueños de negocio de Latinoamérica y España usan un agente de IA para ganar más y recuperar su tiempo. El Kit «tu mano derecha con IA» te muestra cómo en un video de 11 minutos, con una ficha para armar el tuyo. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

¿Qué tan fiel es el resultado? Los números auditados

Este es el punto donde conviene leer con lupa, porque el propio autor publica cada ejecución individual en RESULTS.md. Sobre 960 palabras auditadas, la salida elige la palabra del modelo completo el 98,33 % de las veces contando toda diferencia (un 99,17 % con el conteo de no verificadas), y la copia 2-bit sola acierta el 97,40 %. Es decir: la corrección aporta casi un punto.

Las pruebas más largas cuentan otra historia, y no mejor. En un prompt de 1.101 tokens el motor logra el 97,80 % frente al 97,16 % de la build de referencia; en un prompt de 4.288 tokens alcanza el 100 % (99,69 % la build base). El autor advierte que cada auditoría de prompt largo es una sola ejecución.

Velocidades medidas en la máquina de referencia, con 160 tokens nuevos por prompt:

Prompt de código, caché fría: 5,8 tokens/s.
Prompt de código, caché caliente: 7,4 tokens/s (ejecuciones de 7,39; 7,40 y 7,34). El autor lo califica explícitamente como mejor caso, no una sesión típica.
Razonamiento: 4,7 en frío y 4,4 en caliente.
Agente: 5,2 en frío y 4,8 en caliente.

A eso se suma un detalle que cambia la experiencia de uso: el motor conserva lo que ya leyó, así que el siguiente mensaje de una conversación arranca en unos 2 segundos. La parte lenta es la primera lectura de un prompt largo: en un prompt de 1.163 tokens la primera palabra llega después de unos 126 segundos (98 segundos con un ajuste de lectura de prompt cuyo efecto en calidad el autor aún no ha medido del todo).

Y una advertencia de método que hay que repetir: la comparación de fidelidad se hizo contra el camino exacto propio, no contra la implementación de referencia de DeepSeek ejecutada en paralelo. Todos los números provienen de un PC, un modelo y una familia de prompts.

¿Qué modelo es DeepSeek-V4.1-Flash-1017?

No es un modelo recortado para caber: es el modelo tal como DeepSeek lo publicó. Según Silicon Republic, DeepSeek liberó la actualización V4.1-Flash-1017 en un blogpost del 17 de octubre, con una puntuación de 77 en el benchmark de ingeniería de software DeepSWE frente al 74,2 de la versión anterior (OpenAI GPT-5.6 Sol registró 73 y Claude Opus 5, 75 en la misma tabla).

SiliconANGLE precisa que llegó algo más de cinco semanas después del V4.1-Flash original, que se lanzó el 10 de septiembre, y que los pesos están en Hugging Face bajo licencia MIT. OfficeChai, citando el índice de Artificial Analysis, sitúa al modelo con 552.000 millones de parámetros totales y 16.000 millones activos, ventana de contexto de 1 millón de tokens y una puntuación de 45 en el Intelligence Index, suficiente para empatar como segundo mejor modelo de pesos abiertos con GLM-5.3.

Para calibrar el coste de referencia: ese mismo análisis reporta un precio de US$0,30 por millón de tokens de entrada y US$1,20 por millón de salida en horas pico en la API de primera parte, con tarifas a la mitad fuera de pico y US$0,006 por millón en aciertos de caché.

¿Qué hardware hace falta y dónde están los límites?

La lista de requisitos es corta y contundente, y descarta cualquier portátil:

Windows 10 u 11 de 64 bits, CPU x86-64 con AVX2 (16 núcleos recomendados).
64 GB de RAM.
Una NVIDIA RTX serie 30 o 40 con 12 GB (compute capability 8.6–8.9, driver 580 o superior).
Alrededor de 1,1 TB libres en NVMe, en un disco o repartidos en dos.
Unos 510 GB de descarga de los pesos originales, más unos 3 GB del conversor.
Unas 4 horas para construir los almacenes tras la descarga.

El detalle que suele sorprender: los almacenes ocupan cerca de 1.009 GiB, de los cuales 475 GiB son pesos en bruto y 534 GiB son estructuras derivadas (copias 2-bit, planos de corrección y copias FP4 de las primeras capas). El autor mantuvo cada disco por debajo del 90 % de ocupación.

Los límites reconocidos en la documentación son igual de relevantes que las virtudes: solo Windows, una única tarjeta, una petición a la vez, ninguna instalación limpia probada todavía en una segunda máquina y ningún prompt que alcance el objetivo de 8 tokens/s que el propio autor se puso.

¿Es la inferencia local una alternativa real al offloading de expertos?

El offloading de mezcla de expertos ya era la vía habitual para llevar modelos grandes a GPUs de consumo, pero con resultados muy dispares según el hardware. XDA Developers relató que una GTX 1080 de 8 GB mueve Gemma-4-26B-A4B por encima de 14 tokens/s con offloading de MoE, mientras que una Intel Arc A750 cayó a 3,5 tokens/s con el mismo tipo de modelo y llegó a fallar al reducir capas.

La diferencia de PROMETHEVS es que no se limita a mover expertos: cuantiza, mide la confianza y corrige. Es una arquitectura distinta, y por eso su interés no está en el récord de velocidad sino en la fidelidad auditada palabra por palabra.

Qué significa esto para tu startup

Primero, la privacidad deja de ser un eslogan. Si tu producto toca datos de salud, expedientes legales, información financiera bajo NDA o código propietario de clientes, poder correr un modelo de esta clase en la máquina del equipo —y no en la API de un tercero— cambia conversaciones comerciales enteras. El motor expone un endpoint compatible con la API de OpenAI en http://127.0.0.1:8100/v1, con streaming y llamadas a herramientas.

Segundo, el coste se vuelve un cálculo de volumen, no de precio unitario. Con la referencia de US$0,30 y US$1,20 por millón de tokens que reporta Artificial Analysis para la API, la decisión no es «local es gratis»: es si tu volumen de tokens y tu tolerancia a la latencia justifican invertir en una estación de trabajo con 64 GB de RAM y 1,1 TB de NVMe. Para un equipo que hace miles de llamadas diarias en tareas cortas, el cálculo puede salir; para un prototipo, casi nunca.

Tres acciones concretas que puedes ejecutar esta semana:

Mide antes de comprar. El paquete incluye scripts\check_hardware.ps1, que verifica la máquina y avisa de antemano si algo no alcanza, y verify_install.py --speed, que mide la velocidad real en tu equipo. Si no tienes el hardware, no vale la pena descargar 510 GB para descubrirlo.
Prueba con tus propias herramientas, sin reescribir código. Apunta cualquier aplicación o agente de código que hable la API de OpenAI al endpoint local con el modelo deepseek-v4.1-flash-1017-promethevs y una clave cualquiera no vacía. Así validas calidad en tus prompts reales, no en los del informe.
Diseña para la latencia del primer token. Un prompt largo puede tardar alrededor de dos minutos en producir la primera palabra; las conversaciones cortas y repetidas arrancan en unos 2 segundos. Si tu producto exige respuestas instantáneas sobre contextos enormes, mantén una ruta en la nube como respaldo y reserva el motor local para tareas por lotes o sensibles.

Un cuarto punto para el equipo técnico: el motor se publica bajo Apache-2.0 y el informe, las figuras y los registros bajo CC BY 4.0, lo que permite uso comercial con atribución. Y el instalador construye cada almacén en tu máquina a partir de los pesos oficiales, verificados contra los hashes publicados, así que no dependes de ficheros de terceros.

Conclusión

PROMETHEVS no es todavía un producto: es una release 0.2 con un informe técnico detrás, mediciones de una sola máquina y una lista honesta de huecos. Lo que sí demuestra es una idea con consecuencias para cualquier founder que construya con IA: la distancia entre «modelo que solo corre en el servidor de otro» y «modelo que corre en el PC de tu equipo» se está midiendo ya en puntos porcentuales de fidelidad y en tokens por segundo, no en promesas. Para quien tenga el hardware y datos que no pueden salir de casa, el experimento merece una tarde de pruebas. Para el resto, es la señal de hacia dónde va el coste de la inferencia.