IBM: GPT-4.1 logra 67,5% en soporte sin fine-tuning

Qué logró ALTK-Evolve en τ²-bench

Un agente de atención al cliente que corre sobre GPT-4.1 —un modelo antiguo y sin capacidades de razonamiento— alcanza 67,5% de Pass^4 en el dominio retail de τ²-bench, el benchmark de Sierra que mide cómo un agente maneja conversaciones de soporte bajo restricciones reales. Ese resultado lo deja por encima de todas las entradas retail del snapshot del leaderboard del 12 de octubre de 2026.

El dato importa porque el agente no usa un modelo frontera ni fue ajustado con fine-tuning. Corre sobre el scaffold ReAct estándar del benchmark, con un bloque de guías aprendidas añadido al system prompt. Es el trabajo que IBM Research publica bajo el nombre ALTK-Evolve.

Pass^4 no es un promedio: es el porcentaje de tareas que el agente resuelve en los cuatro intentos independientes. En τ²-bench cada tarea empareja al agente con un cliente simulado por un LLM, un conjunto de herramientas del dominio (consultar un pedido, emitir un reembolso, reprogramar un vuelo) y un documento de política que debe respetar. La tarea cuenta como resuelta solo si el estado final de la base de datos coincide con el resultado esperado: recompensa binaria, sin matices.

Cómo funciona ALTK-Evolve sin actualizar los pesos

El método es más simple de lo que sugiere el resultado. ALTK-Evolve analiza los intentos del agente en las tareas de entrenamiento y usa el mismo modelo para destilar éxitos y fracasos en reglas de comportamiento cortas: cómo autenticar a un cliente, cómo confirmar una transacción, cómo procesar una devolución.

Esas guías se agregan después de la política del dominio, como una lista markdown dentro del system prompt. El mismo modelo que extrae las reglas es el que opera como agente. No hay actualización de pesos ni anotación humana.

Algunas de las reglas aprendidas en retail:

• Autenticar al usuario antes de cualquier acción sobre un pedido; si no hay email, verificar identidad con nombre completo y código postal.
• Confirmar todos los cambios previstos con un resumen estructurado y exigir aprobación explícita antes de ejecutar cualquier acción que modifique la base de datos.
• Al procesar una devolución o un cambio, comunicar el reembolso con desglose por ítem y aclarar los plazos sin esperar a que el cliente lo pregunte.
• Una acción por paso: nunca combinar una llamada a herramienta con un mensaje al usuario en el mismo turno.
• Limpiar el nombre del usuario antes de buscarlo —por ejemplo, separar un identificador combinado en nombre y apellido— y, tras un par de búsquedas fallidas, indicar el formato exacto que se necesita.

Las guías se extraen de las trayectorias en las tareas de entrenamiento y se aplican sin cambios sobre el conjunto de test reservado. Cada regla lleva un conteo de soporte: cuántas tareas distintas de entrenamiento la generaron. Más soporte significa una regla que generalizó, no un caso aislado.

Los resultados: más precisión y, sobre todo, más fiabilidad

El experimento compara tres configuraciones: sin guías, un núcleo de alta confianza (soporte ≥ 3) y el set completo. En retail el núcleo son 31 guías y el set completo 292; en airline, 14 y 101.

En retail, la precisión media sube de 78,1% a 82,5% y el Pass^4 de 57,5% a 67,5% con el set completo. El núcleo compacto apenas mueve la aguja en precisión (78,8%) y deja el Pass^4 en 60,0%. En airline el patrón se invierte en el extremo de la fiabilidad: el set completo lidera en precisión (65,0% frente a 57,5% de la base), pero el núcleo compacto de 14 guías es el más fiable, con 45,0% de Pass^4 contra el 40,0% del set completo.

La lectura para quien diseña agentes: la cantidad de guías es un dial que se ajusta por dominio, no un valor fijo que se copia de un caso a otro.

El costo: más tokens de entrada, no más turnos

Las guías no son gratis, pero el costo cae donde se espera. En retail, el costo por conversación pasa de US$0,084 a US$0,095 con el núcleo (+12%) y a US$0,139 con el set completo (+65%). En airline, de US$0,081 a US$0,097 (+19%) y US$0,107 (+32%).

Lo interesante es lo que no pasa: el agente no conversa más. Comparando las mismas tareas resueltas con y sin guías, el set completo recorta unas 0,3–0,4 turnos en ambos dominios (retail de 10,59 a 10,16; airline de 9,15 a 8,82). Ninguna variante alarga las conversaciones.

Eso importa más allá del costo: cada turno es un viaje de ida y vuelta al LLM, así que menos turnos significa menor latencia de extremo a extremo. Y el sobrecosto de entrada es en buena parte recuperable en producción con prompt caching, porque el bloque de guías es idéntico en cada llamada.

¿Las guías aprendidas sirven también con un modelo frontera?

La objeción razonable es que las guías solo tapen los huecos de un modelo débil. IBM lo probó repitiendo airline con GPT-5.5 como agente y como extractor de guías, sobre el mismo scaffold ReAct. Un detalle cambia: ninguna guía alcanzó soporte ≥ 3, así que el núcleo de alta confianza es de soporte ≥ 2.

Los resultados: la precisión pasa de 72,5% a 82,5% y el Pass^4 de 55,0% a 70,0% —una ganancia de fiabilidad de 15 puntos, mayor que los 10 puntos observados con GPT-4.1 en esas mismas tareas, y partiendo de una base mucho más alta. Además, la configuración completa se reprodujo exactamente entre corridas, mientras la línea base oscilaba.

En el conjunto completo del benchmark (train ∪ test), como exige τ²-bench, el agente con GPT-4.1 llega a 67,5% de Pass^4 en retail, por delante de RAFT-30B-A3B (61,4%), un modelo ajustado con datos sintéticos de τ²-bench retail, por 6,1 puntos. En airline, el núcleo compacto con GPT-4.1 da 44% y el puesto 8, por encima de GPT-5.2 sin razonamiento y cerca de Claude Sonnet 4.5; con GPT-5.5 el mismo enfoque llega a 82,0% y supera todas las entradas frontera del tablero, que se mueven entre 66% y 72%.

Qué significa esto para tu startup

Si estás construyendo un agente de soporte, la lección no es usar GPT-4.1. Es que existe una capa de mejora entre el prompt escrito a mano y el fine-tuning, y que es barata de probar.

• Prueba memoria en el prompt antes de fine-tuning. El fine-tuning sobre un benchmark es caro, frágil y no transfiere al siguiente dominio. Extraer reglas de los propios intentos del agente, con el mismo modelo que lo opera, no requiere anotación humana ni tocar pesos.
• Mide fiabilidad, no promedio. Un agente que resuelve un reembolso 3 de cada 4 veces falla a un cuarto de tus clientes. Si tu métrica es el promedio, ese agente parece bueno; con una métrica tipo Pass^4 aparece el problema.
• Ajusta la dosis de guías por caso de uso. En retail ganó el set completo; en airline, el núcleo compacto fue más fiable. Prueba al menos dos tamaños antes de fijar uno.
• Activa prompt caching. El bloque de guías es idéntico en cada llamada, así que buena parte del sobrecosto de entrada se recupera en producción.
• Vigila el costo de entrada en dominios con muchas reglas. En retail, 292 guías subieron el costo por conversación un 65%. Si tu volumen es alto, ese número pesa.

No se encontraron datos adicionales verificables sobre este lanzamiento fuera de la publicación original de IBM Research.

Fuentes

• ALTK-Evolve: How learned memory tops the τ²-bench leaderboard on customer service tasks without a frontier model (fuente original)