XYBench: el benchmark que mide si la IA entiende tu problema

Qué es XYBench y por qué ganó el premio en EMNLP 2026

El equipo de allenai publicó XYBench, un benchmark de 8.115 preguntas reales que mide algo que casi ningún test de modelos evalúa: si el asistente detecta que la consulta del usuario parte de una premisa equivocada y lo redirige hacia su objetivo real. El trabajo se desarrolló con investigadores de Carnegie Mellon, NVIDIA y Johns Hopkins, y ganó el premio Best Resource Paper en EMNLP 2026.

La mayoría de los benchmarks de LLM miden si el modelo acierta la respuesta a una pregunta bien formulada. XYBench mide lo contrario: qué pasa cuando la pregunta está mal planteada desde el origen.

El problema XY: cuando el usuario pide la solución equivocada

El nombre viene de un patrón conocido en foros técnicos. Una persona quiere lograr X, asume que el camino Y es el correcto, y pide ayuda con Y. El ejemplo que usa el propio benchmark: alguien pregunta cómo hacer que el glaseado se pegue a unos cupcakes, cuando el problema real es que los cupcakes todavía están calientes.

En ese caso, responder bien la pregunta literal —espesar el glaseado— no resuelve nada. El asistente útil es el que entiende que el objetivo es que el glaseado se sostenga y trabaja sobre la causa.

Ese es exactamente el tipo de situación que un founder ve todos los días en soporte, onboarding y ventas: el usuario describe un síntoma, propone una solución, y el problema está en otro lado.

Cómo se construyó el benchmark

XYBench se armó con cuatro fuentes: 1.557 preguntas de Stack Overflow, 184 de Stack Exchange, 102 ejemplos curados a mano y 6.272 preguntas generadas a partir de guías de WikiHow. Para cada pregunta se identificó el pedido explícito (Y) y el pedido intencionado (X), es decir el objetivo que se puede inferir del contexto.

Para las preguntas de foros se usaron las tres respuestas humanas mejor puntuadas y la respuesta aceptada como referencia. Se descartaron los casos donde responder el pedido literal ya resolvía el problema. En WikiHow, el equipo usó Sonnet 4.5 para generar preguntas alrededor de malentendidos plausibles en guías de procedimiento.

Qué encontraron: los modelos responden lo que se pide, no lo que se necesita

Se evaluaron cinco modelos —Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B y DeepSeek-V4 Pro— con una respuesta por pregunta, y se compararon contra respuestas humanas de referencia. Claude Sonnet 4.5 actuó como juez automático.

El patrón se repitió en las cuatro fuentes: todos los modelos incluyeron con más frecuencia una solución al pedido literal que al objetivo real. En Stack Overflow, las soluciones al pedido explícito aparecieron en el 75–86% de las respuestas, frente al 59–71% para el objetivo subyacente.

Pero incluir una mención no es lo mismo que enfocar la respuesta. En el ejemplo de la aspiradora: un modelo puede dedicar varios párrafos a recomendar una aspiradora más potente y mencionar al final que se revise si la manguera está obstruida. Cuenta como que incluyó la solución al objetivo, aunque el foco siga puesto en el pedido literal. Medido por énfasis, en Stack Overflow los modelos se centraron en el objetivo real solo en el 35–41% de los casos, y en el pedido literal en el 47–57%.

El experimento que revela el hueco real

El equipo probó si darle al modelo el objetivo explícito ayudaba. En un experimento tipo oráculo entregaron el pedido literal (Y) y el pedido intencionado (X) junto a cada pregunta. En Stack Overflow, la tasa de Sonnet 4.6 de incluir una solución al objetivo subyacente subió del 59% al 67%, pero su tasa de identificación del malentendido cayó del 47% al 34%. Todos los modelos siguieron por debajo de los humanos en esa métrica.

Un segundo experimento midió algo distinto: si los modelos reconocen buen consejo cuando lo leen, en lugar de escribirlo. Se les dio cada pregunta con dos respuestas posibles —una enfocada en el pedido literal y otra que explicaba el malentendido y atendía el objetivo real—. Los seis modelos evaluados (los cinco anteriores más GPT-4.1) eligieron la respuesta enfocada en el objetivo en el 71–84% de los casos. Comparado con el 35–41% de respuestas escritas que se enfocaron en el objetivo, el hueco queda claro: reconocer el buen consejo es mucho más fácil que producirlo.

Para validar al juez automático, dos revisores humanos evaluaron 500 respuestas de forma independiente. El acuerdo promedio fue de 97,5–100% en si aparecía una solución, 84,6–93,3% en identificación del malentendido y 74,2–79,8% en énfasis pragmático.

¿Qué significa esto para tu startup?

Si tu producto tiene un asistente de IA, un chatbot de soporte o un copiloto interno, este benchmark describe un modo de falla que probablemente ya tienes y no estás midiendo. Tus evaluaciones miden si la respuesta es correcta respecto de la pregunta; XYBench mide si la respuesta es útil respecto del objetivo.

El impacto es directo en métricas de negocio: un ticket cerrado con la respuesta literal vuelve a abrirse, un usuario de onboarding que recibe la instrucción que pidió pero no la que necesitaba se va, y un agente de ventas que responde la pregunta equivocada pierde la reunión.

Hay además una lección de diseño de producto. El experimento de elección múltiple muestra que los modelos sí saben cuál es la respuesta útil cuando la ven. El problema no es de conocimiento, es de comportamiento: por defecto priorizan responder lo que se les pidió. Eso se puede corregir con instrucciones, contexto y flujos, no necesariamente cambiando de modelo.

Tres acciones concretas para tu producto

• Añade una pregunta de clarificación antes de resolver. Si el pedido del usuario admite una premisa equivocada, haz que el asistente pregunte por el objetivo antes de dar la solución. Es la intervención más barata y ataca justo el hueco que el benchmark documenta.
• Mide el énfasis, no solo la presencia. Revisa tus respuestas y clasifica si el foco estuvo en el pedido literal o en el objetivo. Un bot puede mencionar la solución correcta y aun así perder al usuario en tres párrafos sobre la incorrecta.
• Prueba tus prompts con casos XY reales. Toma tickets de soporte donde el usuario propuso una solución equivocada y úsalos como set de evaluación. Es el equivalente práctico de XYBench para tu producto.

Conclusión

XYBench pone número a algo que cualquier founder de producto con IA intuye: los modelos son buenos respondiendo preguntas y bastante peores entendiendo para qué se las hacen. La brecha entre reconocer el buen consejo (71–84%) y producirlo (35–41%) es la métrica que más debería preocupar a quien construye asistentes.

El benchmark cubre por ahora consultas en inglés y sobre todo problemas procedimentales, así que la extensión a otros idiomas y a conversaciones de varios turnos queda abierta. Para un equipo hispanohablante eso es también una oportunidad: los casos de tus usuarios en español probablemente no están en ningún benchmark todavía.

No se encontraron datos adicionales verificables en fuentes externas al momento de esta publicación.

Fuentes

• XYBench: Helping with the problem behind the question (fuente original)