Agentes de código: el triple de costo sin más precisión

¿Qué encontró el estudio sobre los entornos de agentes de código?

Un harness es el andamiaje que envuelve a un modelo de lenguaje cuando resuelve código: el prompt de sistema, las herramientas que puede invocar y las reglas con las que gestiona su contexto. Es la capa que casi nadie audita y que, según una investigación de la Universidad de Shandong, puede triplicar el costo por tarea sin mejorar de forma medible la precisión.

Los investigadores mantuvieron fijos los modelos y probaron tres entornos de producción: Claude Code, OpenCode y mini-SWE-agent, un harness minimalista de código abierto escrito en unas 100 líneas de Python que expone una sola herramienta de bash y no hace compactación de contexto. Corrieron cinco modelos por los tres entornos —los abiertos Qwen3.6-35B-A3B y Qwen3.8-27B, más los servidos por API DeepSeek-V4-Flash, GLM-5.3-Flash y HY4-Preview— y usaron Claude Opus 5 dentro de Claude Code como ancla de gama alta.

La evaluación cubrió 492 tareas offline de SWE-bench Verified: las 45 más difíciles, que a un humano le llevan de una a más de cuatro horas, y las 447 restantes. Los cinco modelos pasaron por el subconjunto de 45; solo los dos Qwen se probaron en el pool grande.

El resultado desarma la intuición. En el pool de 447 tareas, el pesado Claude Code y el minimalista mini-SWE-agent quedaron a menos de dos puntos porcentuales entre sí, y el estudio los considera estadísticamente equivalentes dentro de un margen de cinco puntos en ambos modelos Qwen. En las 45 tareas más duras, aproximadamente una de cada ocho (13%) cambió de resultado al cambiar de entorno. Pero volver a correr el mismo entorno produjo la misma tasa mediana de cambio: el ruido de ejecución pesa tanto como la elección del andamiaje.

El único efecto que superó ese piso estadístico fue una pérdida. OpenCode quedó hasta 9 puntos por detrás en el pool grande, y en Qwen3.8-27B cerca de la mitad de esa brecha se asoció a corridas cortadas cuando el modelo tocó el límite de 32.000 tokens de salida a mitad de paso, muchas veces antes de escribir el parche. Claude Code chocó con el mismo techo en ese modelo, pero pidió automáticamente al modelo que continuara.

Hay un dato que los equipos de compras deberían subrayar: probar el harness oficial de un proveedor sobre su propio modelo dio una tasa de éxito dentro del rango de los otros tres entornos, y el costo por prueba más alto de todos los medidos con ese modelo. En palabras de los investigadores, «el harness propio de un proveedor sobre su propio modelo no compra ninguna ventaja de puntaje».

¿Por qué los benchmarks de agentes de código engañan?

Los rankings públicos comparan agentes que corren sobre entornos distintos, lo que hace imposible aislar qué aporta el harness. Algunos estudios reportan que, con el modelo fijo, cambiar de entorno produce dispersiones de 23,8 puntos en un puntaje graduado y de 27,4 puntos porcentuales en Pass@1. Zhipu AI publicita una mejora de 2,4 puntos de su harness ZCode sobre Claude Code usando el mismo modelo.

El problema es doble. Primero, muchas comparaciones publicadas corren cada configuración una sola vez. Un estudio citado en el paper encontró que 10 repeticiones de la misma configuración sobre SWE-bench Verified arrojaron dispersiones de 2,2 a 6,0 puntos porcentuales. Sin repetir la línea base, no se puede saber si la diferencia viene del entorno o de la variación entre corridas.

Segundo, los entornos comparados no suelen estar en igualdad de condiciones. Otro estudio citado midió el mismo harness en 19,1% con un adaptador de benchmark mínimo y 73,4% con el adaptador completo, usando el mismo modelo.

Y hay contaminación. Al auditar corridas tempranas con acceso a web, los investigadores descubrieron que 312 de 439 pruebas (71%) de DeepSeek y Qwen habían recuperado el parche original escrito por humanos desde GitHub. Descartaron esas corridas y bloquearon el acceso a red en la evaluación final.

El costo por tarea: la única diferencia que aguanta el ruido

Con el mismo modelo, las mismas tareas y una sola lista de precios, el costo por tarea varió hasta tres veces entre entornos. En GLM-5.3-Flash, una prueba en Claude Code costó casi el doble que en mini-SWE-agent y más del triple que en OpenCode, aunque OpenCode también se detuvo tras menos llamadas al modelo.

La diferencia arranca en la primera llamada a la API. Los entornos enviaron cantidades muy distintas de contexto fijo en sus prompts de sistema y esquemas de herramientas: 16.581 tokens en Claude Code, 7.025 en OpenCode y 829 en mini-SWE-agent. Como los agentes reenvían la transcripción completa de la conversación en cada turno, ese sobrecosto inicial se multiplica por la cantidad de pasos, y los investigadores infieren que Claude Code suma más peso al reenviar los bloques de razonamiento intermedios del modelo.

Entre el 96% y el 99% de los tokens de entrada impactaron en la caché del proveedor, pero recalcular el precio con distintas tarifas de caché escaló la factura sin cambiar qué entorno era el más caro para cada modelo. Y el ranking de costos se da vuelta según el modelo: en DeepSeek-V4-Flash, mini-SWE-agent necesitó 141 llamadas por prueba frente a las 104 de Claude Code y costó un poco más, unos 15,2 centavos por prueba contra 14,6.

La conclusión práctica de los investigadores es una lista de tres números para pedirle a cualquier proveedor: la primera llamada, el crecimiento por paso y la cantidad de pasos.

HarnessTax: Berkeley llegó a la misma conclusión

Estos hallazgos refuerzan HarnessTax, un estudio de investigadores del Sky Computing Lab de UC Berkeley y Arena. Ese equipo evaluó siete modelos en Claude Code, el Codex CLI de OpenAI y Pi, un entorno mínimo de código abierto con apenas cuatro herramientas básicas. Probaron 30 tareas de cada uno de dos benchmarks, repitiendo cada tarea tres veces, y encontraron que la elección de entorno movía las tasas de éxito apenas unos puntos porcentuales mientras multiplicaba los costos de inferencia hasta cinco veces. En los siete modelos, el contexto inicial de Claude Code promedió más de 10 veces el tamaño del de Pi.

El gasto en tokens ya es un problema de directorio

La preocupación por el costo no es teórica. En la encuesta VB Pulse de VentureBeat Intelligence de septiembre, 23 de 107 empresas (21%) que usan una plataforma de orquestación de agentes listada no tenían ninguna forma automatizada de detener el gasto en tokens de sus agentes.

Unite.ai recoge el caso más citado: Uber dio acceso a Claude Code a sus ingenieros a fines de 2025 y para abril de 2026 había consumido su presupuesto anual de código con IA en cuatro meses, según Bloomberg. La respuesta fue un tope de US$1.500 por empleado, por mes, por herramienta, que se duplica a US$3.000 si se combinan dos herramientas agénticas. Según Ramp, cuyo índice de IA rastrea pagos reales de más de 70.000 empresas, el 1% de compañías con mayor adopción gasta alrededor de US$7.500 por empleado al mes en IA, con un crecimiento del 14,1% mes a mes.

También hay contraejemplos útiles. Hystax liberó en octubre de 2026 OptScale Kompressor, un compresor de tokens de código abierto que, según su anuncio, recortó la factura de un agente de código en 22,7% sobre Terminal-Bench 2.1 sin cambios estadísticamente significativos en la tasa de éxito (81,1% frente a 82,2%). El detalle relevante: en sus trazas, la salida de herramientas —logs, mensajes de compilador— representa cerca de la mitad de todos los datos del prompt.

¿Qué significa esto para tu startup?

Si tu equipo está eligiendo entre Claude Code, Codex, Cursor o un entorno propio, la decisión ya no se puede tomar con una tabla de puntajes.

• Corre tu propia línea base dos veces antes de adoptar un andamiaje más complejo. Trata cualquier mejora de 2 o 3 puntos obtenida en una sola corrida como no probada. El estudio calcula que una suite de 45 tareas solo detecta una brecha de 13 puntos la mitad de las veces, y que incluso 447 tareas apenas resuelven una diferencia de 5,2 puntos.
• Mide costo por tarea exitosa, no costo por token. Incluye los reintentos y la revisión humana. Un modelo barato que acierta poco puede salir más caro que uno caro que acierta casi siempre.
• Recorta el preámbulo del primer turno y los esquemas de herramientas. Son tokens que se reenvían en cada paso. Vale la pena probar herramientas de línea de comandos más livianas en lugar de docenas de esquemas estáticos.
• Ajusta el presupuesto de razonamiento por par modelo-entorno. Apagar el pensamiento extendido en Qwen3.6 hizo caer 11 puntos la tasa de éxito de mini-SWE-agent, mientras que en Claude Code y OpenCode los cambios quedaron dentro de la variación entre corridas. En cambio, Claude Opus 5 sobre una versión de Claude Code de un año antes, con pensamiento extendido apagado por defecto, resolvió 34 de 45 tareas frente a 35 o 36 de la versión nueva, a un 44% de su costo estimado: 73 centavos contra unos US$1,65 por prueba.
• Pon un interruptor de corte. Si el 21% de las empresas relevadas por VentureBeat no puede frenar el gasto de sus agentes, la mayoría de los equipos está a una noche de un bucle infinito de su factura más alta del mes.

Conclusión

El mensaje del estudio es incómodo para el marketing de la industria: el andamiaje más elaborado no compra precisión, pero sí compra factura. La elección de entorno sigue importando, solo que por razones económicas y de confiabilidad, no por los puntos de un leaderboard. Para un founder con presupuesto limitado, la jugada sensata es empezar por el entorno más simple que resuelva tus tareas, medir costo por tarea exitosa y subir de complejidad solo cuando tus propios datos lo justifiquen.

Fuentes

• VentureBeat: A coding agent's harness can triple its cost
• Hystax: token compressor que recorta 22,7% el costo de agentes de código
• TechTarget: Cost per task, un nuevo método para gestionar el gasto en IA
• Unite.ai: por qué los costos de tokens rompen los presupuestos en 2026