Artificial Analysis v5: Opus 5.5 lidera con 58 puntos

Qué cambia en el Intelligence Index v5

El 60% del Índice ahora se construye sobre evaluaciones con datasets privados o respuestas reservadas. Es la primera vez que la mayoría del compuesto de Artificial Analysis deja de apoyarse en pruebas públicas, y es la respuesta directa a un problema que cualquier equipo de producto conoce: los modelos se entrenan con datos raspados de la web, y buena parte de los benchmarks clásicos ya estaban dentro de ese corpus.

El cambio es el más grande desde que se lanzó la v4 en enero. En total, la v5 incorpora dos benchmarks nuevos y tres actualizaciones:

FrontierCode 2.0: el benchmark privado de coding de Cognition, con 132 tareas en repositorios open source reales. La nota no mide si el código compila, sino si un mantenedor humano fusionaría el cambio. Un intento que falla cualquier check bloqueante puntúa cero, y las tareas permanecen privadas para evitar contaminación. Cada tarea se ejecuta tres veces en Stirrup, el harness agéntico de Artificial Analysis.
Terminal-Bench-Science: 70 tareas agénticas de investigación científica ejecutadas en un entorno de terminal, curadas y revisadas por expertos. Una tarea pasa solo si pasan todos sus tests.
HLE-Diamond reemplaza a Humanity’s Last Exam: una versión refinada de 1.000 preguntas del examen del Center for AI Safety y Scale AI, repartidas por igual entre razonamiento y conocimiento.
AA-Omniscience v1.1: se eliminaron preguntas saturadas y del set público, se añadieron nuevas y se revisaron las ambiguas o erróneas.
CritPt v2: un subconjunto privado de 40 preguntas de física de nivel investigador, ejecutado con acceso a un sandbox de Python offline.

Salen del índice GDPval-AA v2.1, SciCode y AA-LCR v1.1. Se quedan AA-Briefcase, AutomationBench-AA, GDP.pdf y Terminal-Bench 4.0. El peso está repartido en cuatro bloques iguales del 25%: trabajo de conocimiento, coding, ciencia y general.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Los resultados: quién lidera y por cuánto

Claude Opus 5.5 (max) encabeza la tabla con 58 puntos, seguido de GPT-6 Astra (max) con 57 y GPT-6.1 Sol (max) con 55. Entre Anthropic y OpenAI ocupan los cinco primeros puestos. El siguiente modelo de otro laboratorio es Gemini 4 Argon (high), con 50.

Ningún modelo gana en todo. De las nueve evaluaciones, Claude Opus 5.5 lidera tres: FrontierCode 2.0 (46%), HLE-Diamond (68%) y AA-Omniscience v1.1 (48). Los otros seis líderes se reparten entre cinco modelos distintos: GPT-6 Astra gana Terminal-Bench-Science (63%) y el subconjunto duro de CritPt v2 (72%); Claude Sonnet 5.5 lidera AA-Briefcase con 1812 de Elo; Kimi K3.1 Pro gana Terminal-Bench 4.0 (67%); Gemini 4 Argon domina AutomationBench-AA (78%); y Muse Wonder Full encabeza GDP.pdf con un 33% de all-pass.

Hay un detalle que importa para quien elige modelo por caso de uso: en HLE-Diamond, los líderes encuentran las preguntas de conocimiento bastante más difíciles que las de razonamiento. Opus 5.5 y GPT-6 Astra puntúan ambos 78% en razonamiento, pero caen a 58% y 50% en conocimiento.

La brecha de los modelos open weights se triplica

Este es el dato más incómodo del informe. La distancia entre el mejor modelo de pesos abiertos y el líder pasó de 3 puntos a 12. Kimi K3.1 Pro, cuyos pesos todavía no se han publicado, es el mejor open weights con 46. Pero entre los modelos con pesos efectivamente liberados, DeepSeek V4.1 Flash 1017 (max) y GLM-5.3 (max) empatan en 32 puntos: 26 por detrás del líder y por debajo incluso de Claude Haiku 5.5 (max), que marca 36.

La brecha se abre más en las pruebas nuevas. En HLE-Diamond, Kimi K3.1 Pro llega a 37% frente al 68% de Opus 5.5. En Terminal-Bench-Science, a 34% frente al 63% de GPT-6 Astra, y el mejor open weights con pesos liberados se queda en 13%. La mayoría de los modelos abiertos medidos no supera el 10% en esa prueba.

El contraste con el relato de hace apenas unos meses es fuerte. En septiembre, Ars Technica se hizo eco del informe State of Open Source AI de Mozilla, publicado el 15 de septiembre, según el cual el mejor modelo abierto quedaba a solo 4,4 meses del frontier y a tres puntos en el índice, con un costo del 30% del modelo cerrado. La v5, con más datos privados, sugiere que parte de esa cercanía se sostenía sobre benchmarks ya vistos en entrenamiento.

El costo por tarea varía más de 13 veces

Entre los diez modelos con mejor puntuación, el costo de resolver una sola tarea del Intelligence Index va de US$0,96 a US$13,04. El más barato es GPT-6.1 Terra (max); el más caro, Claude Fable 5.1 (max).

El caso más interesante para un equipo con presupuesto limitado es GPT-6.1 Sol (max): cuesta US$1,27 por tarea y queda a 4 puntos de Opus 5.5, que cuesta US$10,04. Es decir, cerca de un octavo del costo por prácticamente el mismo nivel. GPT-6 Astra (max) se sitúa en US$6,24.

Eso encaja con lo que reportó TechRepublic al comparar ambos modelos: GPT-6 Sol se ofrece a US$2 por millón de tokens de entrada y US$10 de salida, frente a los US$4 y US$20 de Claude Opus 5.5, con la salvedad de que Sol sube de tarifa por encima de los 272.000 tokens de entrada.

El esfuerzo de razonamiento pesa más que antes

En la v5, el ajuste de esfuerzo cambia el resultado mucho más que en la v4.3. Claude Opus 5.5 pasa de 35 puntos en esfuerzo bajo a 58 en max, multiplicando por 10 el costo por tarea (de US$0,98 a US$10,04). Claude Sonnet 5.5 abarca 29 puntos entre bajo y max, frente a 20 en la versión anterior. Y el rango de GPT-6.1 Sol se duplica, de 10 a 20 puntos.

También hay un dato de infraestructura que suele pasarse por alto: todos los modelos medidos generan más tokens de salida por tarea que en la v4.3, con la mediana subiendo dos tercios, de 35.000 a 59.000. Las evaluaciones agénticas concentran ese consumo: representan el 55% del peso del índice pero cerca del 90% de los tokens de salida. Solo Terminal-Bench-Science se lleva alrededor de un tercio del total.

¿Qué significa esto para tu startup?

Tres consecuencias prácticas, en orden de impacto sobre la factura.

Primero, deja de elegir modelo por el ranking general. La v5 demuestra que el líder del índice no es el líder de tu caso de uso. Si tu producto hace coding agéntico en repositorios reales, FrontierCode 2.0 es la señal relevante y ahí Opus 5.5 saca 4 puntos a un pelotón de tres modelos. Si haces investigación o análisis documental, mira HLE-Diamond. Si automatizas flujos, AutomationBench-AA. El índice compuesto es un promedio que esconde exactamente la varianza que te importa.

Segundo, corre tu propia prueba de esfuerzo antes de estandarizar. El salto de 35 a 58 puntos entre esfuerzo bajo y max en Opus 5.5, con 10x el costo, significa que la configuración por defecto puede estar dejando capacidad sobre la mesa o quemando presupuesto sin necesidad. Toma 20 tareas representativas de tu producto, ejecútalas en dos o tres niveles de esfuerzo y mide tareas completadas, tiempo de corrección humana y costo total. Esa matriz te dice más que cualquier leaderboard.

Tercero, si estabas esperando a los modelos abiertos para bajar costos, revisa el supuesto. La brecha pasó de 3 a 12 puntos y en las pruebas nuevas es todavía mayor. Un modelo abierto sigue siendo la decisión correcta para volumen alto con tareas acotadas, pero para trabajo experto o contextos largos el cálculo cambió. Y ojo con un matiz que señala TechCrunch: en agosto, un informe de SaferAI encontró que GLM-5.2 de Z.ai no rechazó ninguna de las tareas ofensivas de ciberseguridad y biología que se le plantearon, y que Z.ai no publicó un marco de seguridad ni una evaluación de riesgos previa al lanzamiento. Si vas a desplegar pesos abiertos en un producto con datos de clientes, ese es un riesgo de gobernanza que el precio no cubre.

Conclusión

La v5 no es un ajuste cosmético: es un cambio de metodología que reordena la tabla y castiga a los modelos que se beneficiaban de benchmarks contaminados. El mensaje para un founder es doble. Por un lado, el frontier sigue concentrado en dos laboratorios y el costo por tarea entre modelos de puntuación similar varía hasta 13 veces, lo que abre una oportunidad real de optimización. Por el otro, la decisión de qué modelo usar se volvió más difícil, no más fácil: hay que medir por caso de uso, por nivel de esfuerzo y por tarea completada, no por token.

Artificial Analysis también lanzó junto a la v5 el Progress Index v1, que ubica los modelos publicados desde noviembre de 2022 en una escala continua de capacidad. La propia compañía aclara para qué sirve cada uno: el Progress Index compara cómo cambió la capacidad en el tiempo; el Intelligence Index sigue siendo la medida del frontier actual.