AKV de Tsinghua recorta 27,7% el costo de agentes de IA

Qué es AKV y por qué el costo de la caché KV importa

Un 27,7% menos de costo promedio por tarea. Ese es el número que reporta AKV, un sistema de código abierto desarrollado por investigadores de la Universidad de Tsinghua y la Universidad China de Hong Kong (CUHK) para que los agentes de IA administren su propia memoria de atención. Para un founder que corre agentes en producción, ese porcentaje se traduce directo en la factura mensual de inferencia.

El trabajo se titula «Cache Engineering for Agents» y su implementación oficial está publicada en GitHub bajo licencia Apache-2.0. La idea central es simple de enunciar y difícil de ejecutar: en lugar de resumir o recortar el historial de conversación del agente, AKV interviene directamente la caché KV —la estructura que guarda las claves y valores que el mecanismo de atención reutiliza para no reprocesar información ya vista.

Según el análisis de costos citado en el artículo de MarkTechPost, las lecturas de esa caché representaban 82,4% del costo total de API en el escenario estudiado. Ahí está la razón de fondo: si casi todo el gasto se concentra en un solo componente, optimizar ese componente mueve la aguja más que cualquier ajuste cosmético en los prompts.

Cómo funciona: Drop, Repos y un motor de servicio propio

Los agentes basados en modelos de lenguaje acumulan rondas de conversación, respuestas de herramientas y resultados intermedios. Cuando ese historial crece, la práctica habitual es resumir o recortar los mensajes antiguos al superar cierto umbral de tokens. El problema es que tocar el texto que precede a los mensajes recientes invalida los estados internos de atención del resto del historial, y el sistema se ve obligado a reprocesar el sufijo que conserva —el procedimiento conocido como prefill—, que consume recursos y encarece las solicitudes largas.

AKV evita ese recálculo manteniendo intacta la trayectoria de texto y cambiando qué entradas de la caché siguen disponibles. Lo hace con tres operaciones:

• Append: incorpora los tokens nuevos, como en una actualización convencional.
• Drop: excluye entradas escogidas de la atención futura sin modificar sus posiciones.
• Repos: compacta las posiciones de las claves retenidas mediante una rotación RoPE, reescribiéndolas para ocupar posiciones consecutivas desde cero.

Los investigadores reportaron que agregar la operación Repos elevó la tasa de aprobación de GPT-OSS-120B en BrowseComp-Plus de 55% a 62%, una diferencia que atribuyen a la capacidad de reorganizar la caché después de descartar contenido.

Servir esa caché es más complejo que borrar posiciones: dos solicitudes pueden tener tokens idénticos y aun así estados KV distintos si sus operaciones previas de eliminación y reposicionamiento fueron diferentes. Para no reutilizar un estado equivocado, AKV amplía el árbol radix de SGLang con nodos que registran esas operaciones. El sistema corre sobre GPU NVIDIA mediante SGLang; los experimentos descritos usaron ocho GPU A800 de 80 GB en BF16, y la guía de inicio rápido permite servir GPT-OSS-120B con dos GPU en paralelismo tensorial.

Los números: menos costo, más puntuación y menos latencia

La evaluación principal comparó AKV con dos referencias: una estrategia estándar que resume al llegar a 96.000 tokens (192.000 para MiroThinker) y otra que resume al alcanzar 48.000 tokens. La política de AKV usada en esa comparación elimina de forma rotativa respuestas de herramientas y conserva las 12 más recientes, con pruebas en BrowseComp-Plus, GAIA-Text, SWE-bench Verified y xbench-DeepSearch-2510.

En el promedio de los cuatro benchmarks:

• MiniMax-M2.7: 53,7 puntos y USD 0,044 por tarea con AKV, frente a 52,4 puntos y USD 0,050 con la estrategia estándar.
• GPT-OSS-120B: 53,1 puntos y USD 0,073, frente a 51,0 puntos y USD 0,112 de la referencia.
• MiroThinker-1.7-Mini: 45,8 puntos y USD 0,148, frente a 44,1 puntos y USD 0,204.

En conjunto, el sistema redujo el costo promedio 27,7% frente a la referencia estándar y 21,9% frente a la resumición más frecuente, denominada Text Engineering, según las cifras del estudio.

Las pruebas de servicio también reportaron mejoras, aunque en un escenario específico con GPT-OSS-120B y tareas largas de SWE-bench Verified: en 80 tareas, AKV logró 1,18 veces el rendimiento de salida y 1,53 veces el de entrada, con una latencia P95 1,51 veces más rápida. Con una concurrencia de 16 solicitudes, la latencia P95 de la referencia estándar llegó a 229,90 segundos frente a 30,63 segundos de AKV. El tiempo de atención completa por paso de decodificación bajó de 7,082 a 2,849 milisegundos.

Dónde AKV no gana: los límites que el propio estudio reconoce

Ninguna herramienta de este tipo es una bala de plata, y el paper lo admite. En BrowseComp-Plus, MiniMax-M2.7 obtuvo 58,9 con AKV, por debajo de los 62,3 puntos de Text Engineering. En cambio, para GPT-OSS-120B en tareas de BrowseComp-Plus de 96.000 tokens o más, AKV alcanzó 37%, frente a 24% de la configuración estándar y 32% de Text Engineering.

El control autónomo tampoco garantiza ahorro. El proyecto incluye una herramienta que permite al propio modelo invocar drop_context para pedir la eliminación de contenido: en un subconjunto de 100 tareas, GPT-OSS-120B pasó de 52,1 a 61,0 puntos con esa opción, pero en las pruebas con MiniMax-M2.7 el costo subió de USD 0,054 a USD 0,059 por tarea.

El soporte actual cubre modelos de texto Qwen, GPT-OSS y MiniMax, y los costos se estimaron a partir de tarifas de API, cobrando los tokens reposicionados a la tasa de acierto de caché. Es decir: las cifras valen dentro de las configuraciones evaluadas, no como promesa universal.

El contexto: la caché KV se volvió un campo de batalla

AKV no aparece en el vacío. El 14 de octubre de 2026, Tensormesh —el equipo detrás del proyecto open source LMCache— anunció su plataforma empresarial para gestionar caché KV a través de memoria GPU, memoria CPU y almacenamiento, según reportó Unite.AI. Su objetivo declarado es reducir el procesamiento de prompts que una flota de GPU repite innecesariamente.

Ese mismo medio recoge que la técnica CacheBlend, presentada en EuroSys 2025, reportó un tiempo hasta el primer token entre 2,2 y 3,3 veces más rápido y un throughput entre 2,8 y 5 veces mayor frente al recálculo completo de la caché KV en las cargas evaluadas. Y en el terreno de la orquestación, el proyecto llm-d de la CNCF alcanzó su versión 1.0 con respaldo de IBM, Red Hat, Google y Nvidia, incluyendo una función de agent-aware serving que busca que los agentes usen caché de contexto local en vez de recomputar salidas, según TechTarget.

El dato que mejor dimensiona el problema lo dio Ruchir Puri, científico jefe de IBM Research, a TechTarget: correr agentes durante 24 horas con un modelo frontera costó USD 300, mientras que el mismo período con un modelo abierto más barato costó USD 26. La brecha entre modelos es enorme, pero la brecha entre reutilizar cómputo y repetirlo también.

¿Qué significa esto para tu startup?

Si tu producto depende de agentes que ejecutan tareas de varios turnos con llamadas a herramientas —soporte al cliente, generación de código, investigación automatizada—, el costo de inferencia es una línea que crece con el uso. AKV ataca justo ese punto, y al ser Apache-2.0 puedes evaluarlo sin compromiso comercial.

Dos acciones concretas para esta semana:

• Mide primero, optimiza después. Antes de adoptar cualquier técnica de caché, instrumenta tu costo por tarea y tu tasa de acierto de caché. El propio análisis de Tensormesh advierte que una tasa de acierto alta solo sirve si el trabajo recuperado genera beneficio neto tras sumar el costo de transferencia y gestión. Sin esa línea base, no sabrás si el 27,7% aplica a tu carga real.
• Prueba AKV en una tarea acotada, no en todo el producto. El estudio muestra resultados desiguales según modelo y benchmark. Elige un flujo con historial largo y contexto repetido, corre una comparación contra tu estrategia actual de resumen, y verifica dos cosas por separado: el costo y la calidad de la respuesta. La latencia P95 puede mejorar mucho —de 229,90 a 30,63 segundos en el escenario reportado— pero eso no garantiza que la precisión se mantenga en tu caso.

Y una advertencia de fondo: la optimización de caché es hoy un frente activo con varios competidores —AKV, Tensormesh, llm-d, CacheBlend— y ninguno es universal. La decisión sensata no es elegir el que promete el mayor ahorro en un paper, sino el que mejor se ajusta a tu stack de servicio y a la forma en que tus agentes consumen contexto.

Fuentes

• Estudio reporta que AKV reduce 27,7% el costo de agentes de IA – DiarioBitcoin
• Tensormesh Launches Platform to Cut LLM Inference Costs Through KV-Cache Reuse – Unite.AI
• CNCF’s llm-d 1.0 tackles high AI inference costs – TechTarget

Artículos relacionados:

Signal 2026: verificación automática de claves cierra última brecha de seguridad KV Cache compartido: reduce 50x costos de inferencia en 2026 Cloudflare reduce su caché a un tercio con Zstandard y Pingora Vercel deja de cachear respuestas con Vary: Cookie KV Cache 900.000x más allá de TurboQuant: nueva compresión