WEKA: por qué más GPUs no mejoran a los agentes de IA

¿Por qué más GPUs y tokens no garantizan mejores agentes de IA?

Los equipos de varios agentes cuestan entre 1,8 y 5,1 veces más que un agente único y apenas mejoran la calidad del trabajo, según el evaluador independiente Vals AI. Ese es el punto de partida de Val Bercovici, chief AI officer de WEKA —el proveedor de infraestructura de datos para cargas de IA—, en el VB Agentic Infrastructure Stack Summit, donde conversó con el fundador de VentureBeat, Matt Marshall.

Bercovici identificó dos razones por las que el gasto empresarial en GPUs para agentes supera lo que el trabajo realmente requiere. La primera es el cobro por tokens: cuando el precio se calcula por consumo, un equipo de agentes parece más caro que uno solo aunque termine cada tarea a menor costo por resultado.

La segunda es la recomputación del KV cache, la memoria de corto plazo que un modelo construye mientras procesa un prompt. Cuando ese cache sale de la memoria de la GPU, el chip que atiende al siguiente agente recalcula un contexto que otro agente ya había construido. Las empresas compran GPUs extra, en gran medida, para retener más de ese estado en memoria de alto ancho de banda.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

«La regla número uno es no recomputar el mismo token dos veces. No hacer prefill dos veces», dijo.

El costo por resultado: la métrica que el sector todavía no factura

La conversación en las empresas ya cambió. A comienzos del año el tema era el «tokenmaxxing»; hoy es el «token capping», con equipos de finanzas midiendo el costo de cada ejecución contra el valor del trabajo producido.

«El sector sigue atascado en facturar por token. Facturamos consumo en lugar de facturar resultados», dijo Bercovici, que citó a evaluadores independientes como Vals AI y Epoch AI, dedicados a calificar la calidad del trabajo de agentes en tareas legales, financieras y médicas y a calcular el costo de cada tarea completada. Para que esos números sirvan, esos evaluadores deben mantenerse independientes de los laboratorios de modelos y de los proveedores de herramientas de agentes.

Medir el costo real de un resultado es más difícil de lo que parece. Sudhanshu Bist, vicepresidente de ingeniería de infraestructura de plataforma en Upwork, explicó en otro panel que el gateway de IA de la compañía rastrea el gasto en modelos y lo atribuye a equipos y servicios, pero no captura los costos de entrenamiento o ajuste fino, el esfuerzo humano para corregir resultados ni los recursos de CPU que consumen las llamadas a herramientas. Esos costos viven en sistemas separados.

El problema de fondo es de medición. TechRepublic recoge un estudio de Microsoft Research según el cual tareas idénticas pueden variar hasta 30 veces en consumo total de tokens, y los modelos no logran predecir su propio consumo antes de ejecutar (correlación de 0,39 como máximo). Ese mismo análisis indica que las tareas agénticas consumen hasta 1.000 veces más tokens que el razonamiento o el chat de código.

El contexto macroeconómico agrava la brecha. Un análisis de Gartner difundido por Computerworld proyecta que el costo por token caerá 95% hacia 2030, pero que el costo de inferencia por flujo de trabajo agéntico se multiplicará por más de cinco en los próximos dos años: la «paradoja de la inferencia». Según ese trabajo, los agentes necesitan entre 5 y 30 veces más tokens que un chatbot para tareas equivalentes.

¿Qué es el KV cache y por qué define tu factura de inferencia?

Hay tres niveles de memoria en juego. El primero es la memoria de alto ancho de banda (HBM) de la GPU: rápida y carísima. Bercovici la llamó, junto con la SRAM en chip de Cerebras, «el metro cuadrado más caro del planeta». El segundo es la memoria del servidor: más capacidad, pero el estado queda atado a una sola máquina. El tercero es el almacenamiento flash compartido, que conserva contexto entre sesiones y lo pone a disposición de todo el clúster.

Retener el contexto en almacenamiento compartido permite que sistemas compatibles carguen estado ya calculado en lugar de reconstruirlo, y deja a la GPU trabajando en tokens nuevos. Bercovici citó el clúster de 100 petabytes de DeepSeek para dimensionar cuánto espacio puede exigir esa memoria de trabajo.

El mercado ya se movió en esa dirección. DeepSeek presentó su modelo V4.1-Flash el 10 de septiembre de 2026 con una arquitectura que, según TechTimes, reduce el KV cache activo a una cuarta parte de lo que necesitaba la generación anterior y el almacenamiento en SSD a un octavo. En horas valle, la tarifa de entrada con acierto de cache es de US$0,003 por millón de tokens, frente a los US$25 por millón de tokens de salida que cuesta Claude Opus-5 de Anthropic, según el mismo medio. La compañía también liberó DeepInfer, su framework de inferencia de producción, capaz de servir 155 billones de tokens por día en un solo clúster, según MarktechPost.

Ahí está la palanca: si tu arquitectura no reaprovecha contexto, pagas prefill duplicado a precio de memoria premium.

¿Por qué los agentes que nunca duermen cambian la ecuación?

«En producción real nunca existió tal cosa como un agente. Siempre fue plural», dijo Bercovici. Los despliegues coordinan varios agentes o dejan que uno genere subtareas que se comportan como agentes. En cada traspaso hace falta acceso al contexto ya construido: tanto el de corto plazo, el KV cache, como el de largo plazo, que preserva información de sesiones anteriores. «La palabra clave hoy es retención», señaló.

La seguridad empujó esa demanda al extremo. «Black October», la reciente ola de brechas de seguridad de IA, explotó una falla de PHP de 20 años, y los investigadores detectaron que el tráfico del ataque parecía venir de agentes automatizados operando las 24 horas. La respuesta obliga a los defensores a correr sus propios agentes en segundo plano de forma continua: ya no hay ventana de inactividad para que un clúster reconstruya contexto.

Bercovici también contrastó enfoques geográficos. Los laboratorios chinos trabajan bajo restricciones de hardware y por eso construyen modelos y stacks de inferencia más livianos; en Silicon Valley, el capital disponible convierte «comprar más hardware» en la respuesta por defecto. La frase de Jensen Huang, «cuanto más compras, más ahorras», es engañosa: «No realmente. Cuanto más compras, más usas», dijo.

En software, los mega kernels combinan operaciones del pipeline de inferencia y reducen el costo de pasar trabajo entre ellas. Bercovici señaló que pueden acercar a las GPUs de Nvidia y AMD a los miles de tokens por segundo que entregan chips dedicados como los de Cerebras, SambaNova, d-Matrix y Groq, si se prioriza la velocidad de respuesta a un usuario individual por sobre atender a más usuarios a la vez.

¿Qué significa esto para tu startup?

Cambia la métrica antes de cambiar el hardware. Pide a tus proveedores y a tu equipo el costo por tarea completada, no por millón de tokens. Un análisis de Unite.AI sobre evaluación de agentes lo formula igual: reporta costo por tarea exitosa, no por ejecución, porque un agente barato que falla y reintenta puede salir más caro que un modelo potente que acierta al primer intento.
Instrumenta por tarea y por agente. Registra tokens de entrada, llamadas a herramientas, reintentos, latencia e intervenciones humanas, y atribuye ese gasto a equipos y casos de uso. El caso de Upwork marca el estándar: si el gasto no está atribuido, no se puede gobernar ni negociar.
Diseña para el acierto de cache. Estabiliza los prompts y el contexto de trabajo, evita el prefill duplicado y compara las tarifas con cache hit de tus proveedores: en cargas agénticas con mucho contexto repetido, la diferencia de precio es de órdenes de magnitud.
Rutea por complejidad. Gartner recomienda bloquear que los agentes invoquen modelos frontera por defecto en tareas simples y reservarlos para donde el resultado lo justifique.
Fija umbrales por flujo de trabajo antes de escalar. Define límites de gasto y apagado automático a nivel de flujo, no solo de cuenta, y no apruebes un despliegue sin haberlo estresado contra variaciones de precio de tokens.

Conclusión

El argumento de Bercovici no es que la infraestructura sobre: es que hoy se paga por la cantidad equivocada. Mientras la factura se mida en tokens consumidos y el contexto se reconstruya una y otra vez en la memoria más cara del planeta, más GPUs van a seguir pareciendo la solución a un problema que es de arquitectura y de contabilidad. Para un founder con presupuesto acotado, la ventaja no está en comprar más hardware: está en medir qué cuesta cada resultado y mover la memoria de trabajo al lugar más barato que lo sostenga.