¿Por qué cada turno de un agente cuesta más que el anterior?
Diez turnos de un agente de código procesan 55 unidades de prompt sin caché y 10 con caché. A cien turnos —normal en una tarea de coding— la diferencia es 5.050 contra 100. El trabajo que se repite crece con el cuadrado del largo de la sesión, y esa es la razón por la que una sesión larga se vuelve más lenta y más cara con cada paso.
El patrón que lo causa es distinto al de un chat. Cada vez que el agente da un paso, el harness le manda al modelo toda la conversación acumulada: el system prompt, cada definición de herramienta, tu pedido, cada archivo que leyó y cada comando que ejecutó. Lo que vuelve suele ser un tool call de unas pocas docenas de tokens. Entrada larguísima, salida cortísima: la firma de casi toda carga agéntica.
Ollama y Together AI publicaron el 16 de noviembre de 2026 un análisis conjunto sobre este problema, escrito desde los dos extremos del sistema. Ollama trabaja en las integraciones del harness, es decir qué entra en cada request; Together AI trabaja en el motor de inferencia, es decir qué pasa cuando ese request llega. Su conclusión compartida: buena parte del trabajo de cada lado consiste en proteger la caché de lo que puede hacer el otro.
¿Y esto cómo se aplica en tu negocio?
Dueños de negocio de Latinoamérica y España usan un agente de IA para ganar más y recuperar su tiempo. El Kit «tu mano derecha con IA» te muestra cómo en un video de 11 minutos, con una ficha para armar el tuyo. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.
👥 Quiero el Kit →La pieza que evita el desperdicio es el prefix caching. El motor guarda el trabajo ya hecho sobre los tokens anteriores (los pares clave-valor) y solo calcula lo nuevo. El problema es que es muy fácil romperlo sin darse cuenta.
¿Qué rompe el prefix caching de un agente?
Una sola regla explica casi todo: la caché compara desde el inicio del prompt y avanza hasta el primer token distinto. Ahí se detiene. Todo lo que venga después de esa primera diferencia se procesa otra vez.
De ahí salen tres consecuencias prácticas:
- Agregar contenido al final del prompt no cuesta nada extra.
- Cambiar algo anterior, aunque sea un carácter, obliga a reprocesar todo lo que sigue.
- Si el cambio está cerca del inicio, la sesión entera se reconstruye desde cero.
Quien decide dónde cae esa primera diferencia es el harness. Quien decide si la caché sigue viva cuando llega el próximo request es el motor. El análisis reparte la responsabilidad entre ambos lados, y ahí está lo aprovechable para quien construye.
Herramientas cargadas tarde. Los harness modernos ya cargan decenas de herramientas. Si todas las definiciones van al inicio del prompt, gastas contexto en herramientas que la tarea no usará y el modelo elige peor. La solución es la búsqueda de herramientas: el agente busca y carga la definición cuando la necesita. Pero si esa definición se inserta en la lista de herramientas —que vive cerca del tope del prompt— todo lo que sigue se reprocesa. Lo correcto es ponerla al final, donde el contenido nuevo ya va. No todos los modelos lo soportan: algunos chat templates no esperan una definición de herramienta a mitad de conversación y devuelven error.
Cosas que cambian arriba. Un timestamp, el git status o el directorio de trabajo dentro del system prompt son la vía más rápida a destruir la caché: si el harness lo re-renderiza en cada turno, cada turno es una relectura completa. El arreglo es siempre el mismo: esa información va en el mensaje de la tarea, una sola vez, y el system prompt queda idéntico.
Nivel de razonamiento. En GLM-5.3-Flash, el esfuerzo de razonamiento no es un ajuste que el motor maneje aparte: el chat template lo escribe en el primer bloque de sistema, antes de las herramientas y la conversación. Subirlo de bajo a alto a mitad de una tarea larga hace que el request difiera casi desde el primer token, y la sesión completa se procesa de nuevo. La recomendación de los autores es elegir el nivel al arrancar y no moverlo; si necesitas más razonamiento, suele salir más barato abrir una sesión nueva con el nivel alto.
Resultados de herramientas demasiado grandes. La salida de una herramienta pasa a formar parte de todos los requests siguientes. El ejemplo del artículo es preciso: el agente lee calendar.py, la herramienta devuelve las primeras 100 líneas de un archivo de 640 y no avisa que se detuvo. La función que importa, convert_timezone, está en la línea 420. El modelo no sabe que le falta algo. El arreglo es una línea en la salida que diga que se devolvieron las líneas 1 a 100 de 640 y que se puede buscar o pedir otro rango.
Vale aclarar que Ollama ya permite conectar harnesses como Claude Code, Codex o Pi con modelos abiertos como DeepSeek-V4.1-Flash y GLM-5.3 mediante el comando ollama launch. Conectar un harness a una API parece simple, pero entre uno y otro hay capas de traducción y expectativas distintas que son, según los autores, la causa habitual de cachés rotas, comportamiento inexplicable del agente y errores directos.
¿Cómo arrancar subagentes sin desperdiciar caché?
Modelos abiertos como Kimi K3, GLM-5.3 y GLM-5.3-Flash ya reparten bien una tarea grande entre subagentes. Cómo arranca cada subagente decide cuánta caché del padre reutiliza.
Heredar todo —mismo system prompt, herramientas y conversación, más la asignación— hace que el prefijo ya esté cacheado. Mandar un brief —mismo setup, solo los archivos e instrucciones necesarios— hace que la caché cubra únicamente la configuración.
Heredar suena mejor, pero no lo es. Un prefijo cacheado es barato de procesar, no gratis: cada token que genera el subagente tiene que leerlo, y ocupa memoria de GPU todo el tiempo. Un revisor que necesita dos archivos y una checklist no necesita trescientos turnos de historia. Y si le das al subagente su propio system prompt, no comparte nada con el padre, ni siquiera el setup.
¿Qué pasa del lado del motor de inferencia?
Puedes hacer todo lo anterior a la perfección y no ganar nada. La caché tiene que seguir existiendo y el siguiente request tiene que llegar a la máquina que la tiene.
Together AI lo plantea en términos de mantener las GPUs ocupadas: alquilar una sola GPU cuesta alrededor de US$50.000 al año, así que no debería estar nunca ociosa. Hay dos formas de elegir el nodo. La simple es una clave que el cliente manda con cada request (prompt_cache_key) para que todo lo de esa sesión caiga en el mismo nodo. La otra es hashear el prefijo y enviar el request al nodo que tenga cacheado el prefijo coincidente más largo, aunque lo haya puesto otra sesión.
Esa segunda opción es la razón de fondo para mantener el system prompt idéntico entre sesiones: si todas las sesiones de un harness arrancan con el mismo system prompt y las mismas herramientas, una sesión nueva puede encontrar ese setup ya cacheado. Si metes identificadores únicos ahí, cada sesión arranca en frío por definición.
También hay que mantener la caché viva entre turnos. Un agente hace un tool call y espera minutos mientras corren los tests. Guardar esa caché en memoria de GPU todo el tiempo ocupa espacio que necesitan los usuarios activos; tirarla obliga a releer todo. La salida es bajarla a memoria de CPU mientras la sesión está inactiva y restaurarla después.
La consecuencia contraintuitiva: lo que limita cuántos requests sirve una GPU suele ser el espacio para caché, no el cómputo. Cada resultado de herramienta sobredimensionado y cada subagente que arrastra historia irrelevante le quitan memoria a la caché de otra sesión.
¿Qué significa esto para tu startup?
No es un problema de laboratorio. El costo de inferencia se volvió la restricción dominante para quien corre agentes en producción, y el ecosistema abierto ya responde con números concretos.
En octubre de 2026, llm-d 1.0 —el stack de inferencia distribuida impulsado por Red Hat, IBM, Google Cloud, CoreWeave y NVIDIA— reportó que IBM Research alcanzó un costo de servicio de aproximadamente US$0,11 por millón de tokens, unas 11,5 veces menos que un stack propietario equivalente, con una tasa de acierto de caché de prefijos cercana al 98% en cargas de coding agéntico, según TechTimes. Google Cloud reportó haber duplicado su tasa de acierto de 35% a 70% en producción. Y Tensormesh, creadores de LMCache, lanzó en octubre de 2026 una capa de gestión de caché KV para Kubernetes, según Business Wire.
Del lado de los modelos abiertos, el contexto acompaña: Ollama levantó una Serie B de US$65 millones liderada por Theory Ventures en julio de 2026, con 8,9 millones de desarrolladores activos mensuales y presencia en el 85% de las Fortune 500, según TechCrunch. La empresa factura su nube por tiempo de GPU, no por token, un modelo que encaja mejor con el tráfico en ráfagas de los agentes. Y según TechTimes, el Stanford 2026 AI Index situó en 3,3% la brecha de rendimiento entre el mejor modelo cerrado y el mejor abierto en benchmarks estandarizados.
Acciones concretas que puedes tomar esta semana:
- Congela el system prompt. Saca timestamps, rutas y estados del repo de ahí y ponlos en el mensaje de la tarea. Es el cambio con mejor relación esfuerzo/beneficio y no requiere tocar el motor.
- Mide tu tasa de acierto de caché antes de optimizar cualquier otra cosa. Si no sabes qué porcentaje de tu prefill se reaprovecha, el resto de las optimizaciones es a ciegas.
- Recorta la salida de tus herramientas, pero dilo. Truncar sin avisar produce agentes que editan código que nunca vieron; una línea de metadatos evita el bug.
- Elige el nivel de razonamiento al inicio de la sesión. Cambiarlo a mitad de camino cuesta tanto como empezar de nuevo.
Conclusión
La lección central del análisis es que el rendimiento de un agente no se decide en un solo lugar. Un harness puede mantener el prompt perfectamente estable y perder la caché si el motor manda el turno 7 a la máquina equivocada; un motor puede enrutar de forma impecable y perderla si el harness cambia la primera línea en cada turno. Para un founder que paga la factura de inferencia, eso significa que optimizar costos es un trabajo de dos lados, y que el lado que controlas —el prompt, las herramientas, los subagentes— es donde están las victorias más rápidas y más baratas.
Fuentes
- Making open models work for long-horizon agentic workloads (fuente original)
- Popular open source AI developer tool Ollama raises $65M, grows to nearly 9M users
- Open-Source llm-d 1.0 Hits Production: IBM Research Confirms 11.5x AI Inference Cost Drop
- Tensormesh Launches Tensormesh Platform to Cut LLM Inference Costs by Reusing KV Cache at Enterprise Scale
¿Y esto cómo se aplica en tu negocio?
Dueños de negocio de Latinoamérica y España usan un agente de IA para ganar más y recuperar su tiempo. El Kit «tu mano derecha con IA» te muestra cómo en un video de 11 minutos, con una ficha para armar el tuyo. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.
👥 Quiero el Kit →













