WEKA: hasta 60% del cómputo de una GPU recalcula contexto

Hasta 60% del cómputo de una GPU se gasta en recalcular contexto

Hasta 60% del cómputo de una GPU que corre inferencia de modelos de lenguaje se va en recalcular contexto que el modelo ya había procesado. Lo dijo Alan McSeveney, field CTO de WEKA, en una conversación con el analista principal de VentureBeat, Rob Strechay, en una nueva parada de la serie AI Impact de VentureBeat. Para un founder que paga por capacidad de cómputo, propia o alquilada, la cifra no es un detalle técnico: es hardware que ya compró y que está trabajando en repetir lo que ya hizo.

Por qué una GPU recalcula lo que ya procesó

Durante una conversación de varios turnos, la GPU guarda el contexto ya procesado en la KV cache (key-value cache) para no tener que recalcularlo en cada intercambio. El problema es que la memoria de la GPU es finita: cuando el contexto más viejo se desaloja, la GPU puede tener que recalcular la misma historia cuando la sesión se retoma.

El impacto sobre la utilización es enorme. "Si corres sin ninguna estrategia para manejarlo, una GPU puede quedarse en apenas 30% de utilización en trabajo nuevo", dijo McSeveney. "Con una buena estrategia puedes ver por encima del 90%, o 95% en el mejor caso."

Cuando una empresa construye su propia infraestructura para cargas de IA, las GPU se llevan más del 80% del presupuesto. Una tarjeta que gasta sus ciclos en recálculo es, en palabras del field CTO de WEKA, "un desperdicio colosal de dinero".

NVMe flash contra DRAM: dónde conviene guardar el KV cache

La industria ya se está moviendo hacia una reutilización y un offload más agresivos del KV cache, desde Mooncake y las técnicas recientes de DeepSeek hasta la plataforma de memoria de contexto CMX de Nvidia, integrada en su stack Vera Rubin.

McSeveney sostiene que el flash NVMe es un lugar más económico para alojar ese cache que ampliar la DRAM del servidor: iguala o supera a la DRAM para sostener el KV cache, escala mucho mejor y cuesta mucho menos.

"Sacas esos datos lo más rápido posible, dejas que otro ocupe la GPU y luego devuelves sus datos cuando los necesita", explicó. La velocidad de ese intercambio determina a cuántas personas puede servir una sola GPU: si el sistema puede mover el cache fuera y de vuelta lo suficientemente rápido, cada GPU puede atender a cuatro o cinco veces más usuarios. Una empresa con déficit de capacidad puede meter esa cantidad de personas o agentes en los servidores que ya tiene antes de pedir otra GPU.

Cómo funciona el Augmented Memory Grid de WEKA

El Augmented Memory Grid de WEKA, que corre sobre su software de almacenamiento NeuralMesh, captura el KV cache de los servidores GPU, lo almacena de forma centralizada y lo vuelve a cargar en cualquier host del data center. Una sesión puede detenerse en un servidor y retomarse en otro sin que la segunda GPU recalcule su historial.

Según McSeveney, cargar el KV cache de forma centralizada elevó el número de usuarios sobre las mismas GPU 7 veces y subió la salida de 200.000 tokens a 2 millones en el mismo periodo, comparado con hacer offload a DRAM.

El dato no sale de la nada. WEKA anunció la disponibilidad comercial de Augmented Memory Grid sobre NeuralMesh en noviembre de 2025, tras presentarlo en el GTC 2025 de Nvidia, con validación inicial en Oracle Cloud Infrastructure (PRNewswire). Y en junio de 2026 reportó benchmarks a escala de producción sobre un clúster de nueve nodos OCI bare-metal con GPU H100 y ventanas de contexto de 100.000 tokens: 10 veces más usuarios concurrentes (más de 5.000 frente a unos 600 en configuraciones solo con DRAM), 10 veces más throughput de tokens y 7 veces más tokens servidos (HPCwire).

El mercado se está moviendo rápido alrededor de este cuello de botella. Nvidia presentó su arquitectura CMX en enero y todavía está en camino a los data centers de clientes, según HPCwire, que recoge además la estimación de James Coomer, vicepresidente sénior de producto de DDN: la red neuronal se lleva cerca del 30% de la HBM, otro 30% se consume en trabajo operativo y queda un 30% para el KV cache, que "se agota casi de inmediato". Coomer añade que una tasa de aciertos de cache del 85% no es rara entre clientes de DDN. En esa carrera compiten DDN, Vast Data, WEKA, Everpure, Vdura y NetApp, todas construyendo soluciones conformes al diseño STX de Nvidia.

En la capa de hardware, ScaleFlux presentó el 30 de julio de 2026 una plataforma de SSD optimizada para IA y diseñada para CMX de Nvidia y el offload de KV cache, con 7 a más de 10 DWPD efectivos y soporte para más de 200 flujos de escritura FDP por unidad (PRNewswire vía Morningstar).

La escasez de GPU cambia la ecuación

McSeveney apuntó a un mensaje de Google a sus clientes: cada GPU que la compañía pidió para Google Cloud y todavía no instaló ya tiene comprador para toda su vida de servicio, y los clientes que no tengan una reserva para diciembre no deberían contar con capacidad on-demand. Los proveedores de servicios que compran de la misma oferta restringida enfrentarán la misma presión.

De ahí su conclusión sobre dónde queda el ahorro: "Si le pagas a un proveedor de modelos fundacionales por token, la mayor parte del beneficio de cualquier cacheo de su lado va a su bolsillo, no al tuyo". El beneficio se lo queda quien controla la GPU, sea una empresa con hardware propio o una que alquila instancias GPU crudas y opera su propio software encima.

"Correr parte de tu propia infraestructura puede no ser lo primero que se te ocurra", dijo McSeveney. "Pero puede volverse una necesidad."

Qué significa esto para tu startup

El mensaje para un founder hispanohablante, con menos capital que un competidor de Silicon Valley y precios de GPU que no bajan, es que la palanca más barata no está en comprar hardware nuevo sino en dejar de desperdiciar el que ya tienes.

• Mide la utilización real antes de comprar. Si alquilas GPU, pide métricas de utilización y de aciertos de cache a tu proveedor. Si corres hardware propio, instrumenta la KV cache. Una GPU al 30% de utilización en trabajo nuevo es una factura que estás pagando dos veces.
• Define quién captura el ahorro del cache. Si tu producto paga por token a un proveedor de modelos fundacionales, el beneficio del cacheo se queda de su lado. Si tu volumen es alto y tus sesiones largas, vale la pena modelar el costo de operar tu propia capa de inferencia.
• Diseña tus sesiones antes de elegir arquitectura. Cuántos usuarios concurrentes vas a soportar, qué tamaño de ventana de contexto vas a ofrecer, cuánto deben durar las sesiones y qué latencia tolera tu caso de uso. Esos cuatro números determinan si el KV cache vive en HBM, en DRAM o en flash NVMe.
• Si compras storage para el cache, mira endurance y no solo capacidad. Las cargas de KV cache escriben mucho y de forma asimétrica; la endurance de la unidad y la separación de datos por ciclo de vida afectan directamente el costo por token.

Conclusión

El cuello de botella de la inferencia dejó de ser exclusivamente el número de GPU. Es cuánta memoria efectiva tienen esas GPU para sostener contexto sin recalcularlo. WEKA, Nvidia con CMX y una lista creciente de proveedores de storage están compitiendo por resolverlo, y los benchmarks ya muestran diferencias de un orden de magnitud. Para un founder, la decisión práctica es simple: antes de presupuestar la próxima GPU, calcula cuánta capacidad de la actual se está yendo en repetir trabajo ya hecho.

Fuentes

• VentureBeat
• PRNewswire vía Yahoo Finance
• HPCwire
• HPCwire
• PRNewswire vía Morningstar