Un salto de 12 puntos sin tocar los pesos del modelo
Un agente construido sobre Qwen3.5-27B pasó de completar el 69,0% de las tareas a completar el 81,4% en el benchmark AppWorld Normal. El modelo no cambió: los pesos quedaron congelados de principio a fin. Lo que cambió fue el harness, la capa que rodea al modelo y que incluye prompts, gestión de contexto, herramientas, memoria y flujos de trabajo.
El responsable es ScholarEvolve, un framework desarrollado por investigadores de la Universidad de California en Santa Bárbara (UCSB) y Microsoft, que según VentureBeat cierra aproximadamente el 74% de la brecha de rendimiento con GPT-5.4 sin reentrenar nada. Para un equipo de ingeniería con presupuesto limitado, la implicancia es directa: buena parte de la mejora que se busca comprando un modelo más caro puede estar disponible en la arquitectura que ya tienes.
¿Qué es el harness de un agente y por qué importa más que el modelo?
Un harness es todo lo que convierte a un modelo de lenguaje en un agente funcional. Si el modelo es el motor, el harness es el resto del auto: el sistema de gestión de contexto, la biblioteca de habilidades, la memoria, la interfaz de herramientas y la lógica de flujo de trabajo.
Leíste lo que hace la IA. ¿Y en tu negocio?
En CAR, dueños de empresa arman en 7 días su primer sistema funcionando: que ningún cliente se les escape, o que el informe del lunes salga solo. Con otros emprendedores al lado.
👥 Probar 7 díasLa investigación en optimización automática de harnesses se dividió en dos caminos durante el último año. Por un lado, herramientas que refinan un solo componente —como WikiSkill de Google, SkillOpt de Microsoft o Memento-Skills— examinando las trayectorias del agente. Por el otro, optimizadores de harness completo como DarwinX de Salesforce, HarnessX de Xiaomi, Self-Harness y Meta-Harness de Stanford, que usan un meta-agente de código para inspeccionar trazas de fallo y reescribir las reglas operativas.
El problema que detectaron los investigadores de UCSB y Microsoft es que ese enfoque es un circuito cerrado. El meta-agente solo puede proponer mecanismos que ya conoce por el conocimiento paramétrico de su propio modelo base. Cuando ve errores repetidos en las llamadas a herramientas, recurre a soluciones familiares: insertar un paso de verificación o un bucle de debate entre agentes. En un caso documentado en el estudio, el meta-agente añadió un módulo revisor que detectaba llamadas inválidas, pero se volvió tan conservador que bloqueaba llamadas a API perfectamente válidas y necesarias para terminar la tarea.
El segundo problema es que la evolución guiada por trazas es reactiva: solo aprende de situaciones que ya ocurrieron. En producción, eso significa que una debilidad afecta a los usuarios antes de que exista evidencia suficiente para corregirla.
Cómo funciona: de arXiv al código del agente
ScholarEvolve ataca el problema desde afuera. En lugar de esperar a que el agente falle lo suficiente, va a buscar la solución en la literatura científica.
El pipeline tiene cuatro etapas:
- Auditoría de fallos y búsqueda bibliográfica: un modelo auditor revisa las tareas fallidas de un set de entrenamiento, identifica brechas de capacidad generales —como perder el rastro de observaciones previas o no recuperarse de errores de sintaxis— y genera consultas para recuperar papers y abstracts de arXiv.
- Modelado de temas para exploración diversa: para evitar traer papers parecidos entre sí, el framework usa un método llamado TopicGPT que agrupa los papers por familias de mecanismos dentro de cada módulo, y luego prueba ideas de ingeniería distintas.
- Blueprints y health probes: por cada paper seleccionado, un agente de investigación lee el texto completo y el código oficial disponible para generar un blueprint de mutación. Un agente de código escribe la implementación en Python de ese módulo específico, dejando los otros cuatro fijos. Sondas automáticas verifican que el código importe limpiamente, respete los contratos de interfaz y produzca acciones válidas antes de la evaluación completa.
- Cruce y selección de módulos: una vez puntuados los módulos individuales, un proceso de cruce genético combina los mejores en harnesses completos. Cada candidato pasa por pruebas de regresión conjunta y un chequeo estadístico antes de reemplazar al campeón actual.
Para que las ediciones en una parte no rompan otra, el harness se divide en cinco módulos con interfaces estrictas de entrada y salida: interfaz de herramientas, gestión de contexto, habilidades, memorias y flujos de trabajo agénticos.
Los resultados que deberían mirar los equipos de ingeniería
Más allá del número principal, hay tres hallazgos que cambian decisiones de arquitectura.
Generalización a APIs nunca vistas. En el AppWorld Challenge, con APIs de Amazon y Gmail que no aparecen ni en el set de evolución ni en el de validación, el harness evolucionado llevó a Qwen3.5-27B del 49,6% al 63,6% (+14,0 puntos), superando a Meta-Harness por 9,0 puntos. Es la prueba de que el conocimiento extraído de papers transfiere a entornos desconocidos.
Optimizar un módulo en aislamiento engaña. En un estudio de ablación, una mejora de habilidades por sí sola puntuó 75,4%, mientras que el módulo Skill-as-Pseudocode puntuó menos, 73,7%. Pero al combinarlo con los módulos evolucionados de herramientas, contexto, memoria y flujo de trabajo, ese módulo «peor» produjo un sistema mucho más fuerte: 84,8% frente a 80,7% de completitud de tareas. Los puntajes individuales no identifican la mejor composición.
Recuperación de errores a mitad de tarea. En entornos reales las llamadas a herramientas fallan. Entre las ejecuciones que encontraron un error intermedio de Python, el harness evolucionado completó la tarea el 59,9% de las veces, contra 44,9% del harness base. Un error intermedio no predice el fracaso: muchos casos exitosos dependen de usar el error devuelto para corregir los pasos siguientes.
En el benchmark tau-Bench Telecom, el harness evolucionado subió a GPT-5.4-mini del 72,7% al 81,9%.
¿Qué significa esto para tu startup?
El mensaje central es que el diseño del harness tiene un efecto sustancial sobre las capacidades que entrega un modelo dado. Si tu equipo está evaluando pagar por un modelo más grande para resolver tareas que fallan, vale la pena preguntarse primero si el problema está en el modelo o en la arquitectura que lo rodea.
Dos acciones concretas:
- Audita tus fallos antes de cambiar de modelo. Toma una muestra de tareas fallidas y clasifícalas por tipo: ¿son errores de formato de salida, de gestión de contexto, de recuperación tras un traceback, o de secuencias de API que el agente reinventa cada vez? Los tres primeros son problemas de harness y se pueden atacar sin reentrenar. El cuarto también: el paper describe cómo minar secuencias de API recurrentes de ejecuciones exitosas y compilarlas en plantillas de pseudocódigo tipado.
- No dejes que un meta-agente toque producción sin control. El propio paper no describe escaneo de seguridad para vetar papers recuperados ni código de terceros por dependencias maliciosas, patrones de ejecución inseguros o vulnerabilidades de prompt injection. El repositorio de GitHub que enlazan los investigadores estaba vacío al momento de la publicación, y los extractos de código de los cinco módulos están en los apéndices del paper. La recomendación es construir una pasarela de validación de seguridad o apuntar el framework a un repositorio interno curado de papers y documentos de diseño ya revisados.
También conviene ser claro sobre los límites: la evolución de harness no arregla todo el pipeline. Puede mejorar cómo el agente formatea salidas, administra presupuestos de contexto y se recupera de tracebacks de API, pero no reemplaza los guardrails determinísticos en el gateway de APIs ni corrige un pipeline de recuperación débil aguas arriba.
El contexto: la evolución de harnesses se volvió un campo concurrido
ScholarEvolve no está solo. Según CryptoBriefing, Google Cloud AI Research, Google DeepMind y Carnegie Mellon presentaron Harmony Harness, un framework que trata la evolución del scaffolding como un problema de optimización multiobjetivo, con seguridad y funcionalidad como metas separadas en lugar de un único puntaje combinado. El paper se envió a arXiv el 10 de octubre de 2026 y reporta más de 10 puntos porcentuales por encima de baselines previos en SecRepoBench y BaxBench, dos benchmarks centrados en si los agentes escriben código seguro, no solo código que corre. La lección de ese trabajo es complementaria a la de ScholarEvolve: si la seguridad se pliega dentro de un puntaje único de rendimiento, el optimizador puede sacrificarla cuando le conviene.
El interés no es solo académico. Según el 2026 Agentic Enterprise Index de Salesforce, reportado por ZDNET, el número promedio de agentes de IA activados por organización casi se triplicó desde 2025, pasando de cinco agentes en febrero de 2025 a trece en abril de 2026, y el tiempo para crear un agente nuevo cayó un 53%, de cuatro días a 1,9 días. En agosto de 2026, más de 5 millones de conversaciones en help.salesforce.com fueron gestionadas por agentes, frente a 2,4 millones por humanos. Y en septiembre de 2026, según SiliconANGLE, Salesforce presentó su propio Enterprise AI Harness, con enrutamiento inteligente de modelos y controles de fiabilidad determinística.
Con ese volumen de agentes en producción, la pregunta de cómo mejorarlos sin reentrenar deja de ser teórica. Los investigadores probaron tres rondas sucesivas de actualización de literatura sin cambiar los pesos de Qwen ni los datos de tareas ya recolectados, y el rendimiento mejoró en las tres rondas sobre AppWorld Normal. El paper plantea el escenario que probablemente termine adoptando la industria: un agente desplegado que revisa la investigación más reciente cada mes y evalúa actualizaciones prometedoras contra tareas de validación.
Conclusión
ScholarEvolve demuestra que el conocimiento científico publicado puede convertirse en mejoras de ingeniería concretas para agentes en producción, sin tocar los pesos del modelo y sin esperar a acumular fallos propios. El 69,0% al 81,4% en AppWorld Normal, el 49,6% al 63,6% en APIs nunca vistas y el 59,9% de recuperación tras errores intermedios son señales de que el harness es una palanca subestimada.
La advertencia es igual de importante: el framework no incluye vetting de seguridad del código que recupera, el repositorio público estaba vacío al publicarse, y la evolución de harness no sustituye los guardrails determinísticos ni arregla un retrieval débil. Para un equipo pequeño, la jugada sensata es empezar por auditar dónde fallan los agentes y atacar los módulos de contexto, herramientas y habilidades antes de asumir que la solución es un modelo más grande.
Fuentes
- Researchers made AI agents better by turning academic papers into working code — no retraining required
- Google and Carnegie Mellon unveil Harmony Harness for evolving AI agents
- Business adoption of AI agents tripled this year – as measurable ROI emerges
- Salesforce introduces Enterprise AI Harness, AI Control Plane
Leíste lo que hace la IA. ¿Y en tu negocio?
En CAR, dueños de empresa arman en 7 días su primer sistema funcionando: que ningún cliente se les escape, o que el informe del lunes salga solo. Con otros emprendedores al lado.
👥 Probar 7 días
