GPT-5.6 sube al 87% en física tras auditar benchmarks

Qué midió realmente el paper

Un equipo de investigación re-auditar con expertos seis benchmarks ampliamente usados para evaluar física —entre ellos HLE-Physics, CMT-Benchmark, UGPhysics, PRISM-Physics, PHYBench y CritPt— descubrió que la mayoría de los fallos atribuidos a los modelos frontera no eran errores de razonamiento físico, sino problemas del propio benchmark: soluciones de referencia incorrectas, enunciados ambiguos o mal especificados, y errores de los evaluadores automáticos.

La consecuencia es directa: las puntuaciones publicadas subestiman a los modelos. Tras corregir estos problemas, GPT-5.6-Sol pasó de un 47,3% a un 78,7% en HLE-Physics y de un 61,0% a un 87,2% en CMT-Benchmark, mientras su pass@4 corregido alcanzó el 94,4% en los 54 retos de CritPt que sobrevivieron a la revisión.

Por qué los benchmarks se rompen

Los autores del estudio señalan que los benchmarks cerrados —aquellos con respuesta final verificable— se diseñaron pensando en una generación de modelos menos capaz. Cuando los sistemas frontera empiezan a acertar la mayoría de las preguntas, los fallos restantes suelen ser ruido: preguntas mal redactadas, soluciones de referencia con errores tipográficos o conceptuales, y graders automáticos que penalizan formatos diferentes a los esperados.

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

Un benchmark se «rompe» cuando deja de discriminar entre modelos porque todos rozan el techo, pero los responsables de producto siguen usándolo como si midiera lo que medía antes. La guía de Unite.AI sobre saturación de benchmarks describe exactamente este fenómeno: cuando los modelos líderes se acercan al techo de una prueba, las diferencias de puntaje dejan de informar sobre capacidad real y empiezan a recompensar trucos específicos del test.

¿Qué cambia para una startup que usa IA?

Si tu producto depende de que un LLM resuelva problemas técnicos —cálculo físico, ingeniería, simulaciones rápidas, validación de hipótesis— la implicación práctica es grande: probablemente tu modelo ya está rindiendo mucho mejor de lo que el benchmark sugiere, pero la herramienta que usas para medirlo te está mintiendo sobre su rendimiento real.

Esto afecta decisiones concretas de arquitectura y costos. Elegir un modelo «más barato» porque aparece peor rankeado en un benchmark puede ser un error de optimización si ese benchmark está roto. Antes de cambiar de proveedor por tres puntos porcentuales en un leaderboard, conviene auditar el benchmark concreto que estás mirando.

Acciones concretas para tu equipo

Audita el benchmark que usas para decidir modelo. Si puntúa por coincidencia exacta con una solución de referencia, prueba manualmente 20 ejemplos con tu modelo actual. Vas a descubrir que muchas «respuestas incorrectas» son variaciones válidas que el grader automático rechaza.
Construye tu propio set de evaluación interna. Para flujos de trabajo físicos o científicos, crea 50-100 problemas representativos de tu caso de uso real, con soluciones revisadas por un humano experto en tu dominio. Es la única forma de saber qué modelo sirve para tu producto concreto.
No descartes un modelo por su ranking global. Los rankings agregados mezclan benchmarks saturados, rotos o desalineados con tu tarea. Un modelo que aparece «peor» en un leaderboard puede superar a uno «mejor» en tu workload específico.