Artificial Analysis v5: 60% del índice es privado

Qué cambia en el Intelligence Index v5.0

El Artificial Analysis Intelligence Index acaba de pasar a su versión v5.0, y el cambio no es cosmético: por primera vez, el 60% del índice se apoya en evaluaciones con conjuntos de prueba privados o respuestas reservadas, según reportó Office Chai. La razón es concreta: los laboratorios entrenan cada vez más sobre datos raspados de la web, y los benchmarks públicos terminan contaminados.

Para un founder que decide qué modelo poner en producción, esto importa más de lo que parece. Si el benchmark que usas para comparar modelos ya fue "visto" durante el entrenamiento, estás eligiendo con una métrica inflada. Un índice con mayoría de tests privados es, en teoría, más difícil de falsear.

Junto con el índice, Artificial Analysis lanzó un Progress Index v1, pensado para medir capacidad en una escala continua a lo largo del tiempo en lugar de reiniciarse con cada versión del benchmark.

Las 9 evaluaciones y cómo se ponderan

La metodología oficial describe el índice como un promedio ponderado de cuatro categorías, cada una con el 25%: Knowledge Work, Coding, Science y General. Dentro de cada categoría, las evaluaciones tienen pesos distintos.

• Knowledge Work (25%): AA-Briefcase v1.1 pesa 15% y AutomationBench-AA un 5%. La primera evalúa tareas agénticas de trabajo de conocimiento con entregables reales; la segunda, automatización de flujos SaaS vía APIs REST, con cero crédito si el modelo rompe una regla de seguridad.
• Coding (25%): FrontierCode 2.0 pesa 15% y Terminal-Bench 4.0 un 10%. FrontierCode mide si un agente hace un cambio en un repositorio open source que un mantenedor realmente aceptaría.
• Science (25%): Terminal-Bench-Science 0.1 pesa 15% y CritPt v2 (Hard Subset) un 10%.
• General (25%): AA-Omniscience v1.1 pesa 15% y HLE-Diamond un 10%.

El detalle técnico también es relevante: la metodología fija temperatura 0 para modelos sin razonamiento y 0.6 para modelos de razonamiento, un tope de 16.384 tokens de salida para los primeros, y puntuación pass@1 — el modelo debe acertar en el primer intento. Los benchmarks agénticos corren sobre e2b como proveedor de sandbox.

Un punto que suele pasarse por alto: el índice es principalmente textual y en inglés. El desempeño multilingüe, de imagen y de voz se mide por separado. El Multilingual Index se basa en Global-MMLU-Lite y cubre 16 idiomas, entre ellos el español.

Quién lidera el ranking y qué dicen los datos

Según Office Chai, el nuevo leaderboard lo encabeza Claude Opus 5.5 (max) con 58 puntos, seguido por GPT-6 Astra (max) con 57 y GPT-6.1 Sol (max) con 55. Entre Anthropic y OpenAI ocupan los cinco primeros puestos, con Gemini 4 Argon (high), de otro laboratorio, como el siguiente mejor con 50.

El dato más incómodo para quien apuesta por modelos abiertos: la brecha entre el mejor modelo de pesos abiertos y el líder general se amplió de 3 a 12 puntos. Kimi K3.1 Pro es el mejor de esa categoría con 46, pero sus pesos aún no se han publicado. Entre los modelos cuyos pesos sí están disponibles, DeepSeek V4.1 Flash 1017 (max) y GLM-5.3 (max) comparten el liderazgo con apenas 32 puntos, por detrás incluso de Claude Haiku 5.5 (max) con 36.

El costo también se dispersa. Entre los diez modelos mejor puntuados, correr una sola tarea del índice varía más de 13 veces: GPT-6.1 Terra (max) es el más barato con US$0,96 por tarea, mientras Claude Fable 5.1 (max) es el más caro con US$13,04.

Y ningún modelo gana en todo. Claude Opus 5.5 lidera tres de las nueve evaluaciones (FrontierCode 2.0, HLE-Diamond y AA-Omniscience v1.1); GPT-6 Astra encabeza Terminal-Bench-Science y el subconjunto duro de CritPt v2; Claude Sonnet 5.5 lidera AA-Briefcase con 1812 de Elo; Kimi K3.1 Pro gana en Terminal-Bench 4.0 con 67%; Gemini 4 Argon domina AutomationBench-AA con 78%; y Muse Wonder Full lidera GDP.pdf con 33% de all-pass.

Por qué el 60% privado importa para tu startup

La lección práctica es que los rankings de frontera se mueven en semanas, no en trimestres. Un modelo que hoy está en el top 3 puede caer varios puestos cuando cambia la mezcla de evaluaciones. Eso ya pasó con esta actualización: varios modelos que rendían bien bajo la metodología anterior se desinflaron con los conjuntos privados.

Para un equipo pequeño, construir el producto sobre "el modelo número uno del ranking" es una apuesta frágil. Lo que se sostiene es la arquitectura que permite cambiar de modelo sin reescribir el producto: capas de abstracción, prompts versionados y evaluación propia sobre tus casos de uso reales.

Otro dato que conviene mirar: el costo por tarea del índice no refleja tu costo real, pero sí revela cómo los laboratorios están cobrando capacidades comparables. Una diferencia de 13 veces entre modelos de rendimiento similar es margen que puedes capturar eligiendo bien.

Qué significa esto para tu startup

1. No elijas modelo por el ranking general, elígelo por la evaluación que se parece a tu caso. Si tu producto es un agente que ejecuta flujos de trabajo, mira AutomationBench-AA y AA-Briefcase, no el promedio. Si haces código, FrontierCode 2.0 y Terminal-Bench 4.0 son tus números. El índice agregado es una síntesis útil, pero la metodología misma advierte que "puede no aplicar directamente a cada caso de uso".

2. Corre tu propio mini-benchmark antes de migrar. Toma 30 a 50 tareas reales de tu producto, guarda las respuestas correctas y mide pass@1 de cada modelo candidato. Es la única forma de saber si el salto de 46 a 58 puntos del índice se traduce en valor para tus usuarios — y de detectar cuándo un modelo caro no justifica su precio.

3. Vigila el costo por tarea, no solo el precio por token. El índice reporta el gasto total de la batería de pruebas, que combina tarifa y volumen de tokens generados. Un modelo con precio por token bajo puede consumir muchos más tokens para resolver lo mismo, y terminar saliendo más caro.

4. Si operas en español, no te quedes con el índice principal. Es una suite textual en inglés. El rendimiento en español se mide aparte, vía el Multilingual Index sobre Global-MMLU-Lite. Para productos dirigidos a LATAM o España, ese número pesa más que el ranking general.

El Intelligence Index v5.0 no es una verdad absoluta, y su propia metodología lo dice: "como toda métrica de evaluación, tiene limitaciones". Pero al mover la mayoría de su peso a conjuntos privados, se vuelve una herramienta más difícil de engañar — y eso, para quien tiene que decidir con presupuesto limitado, vale más que un número más alto.

Fuentes

• Artificial Analysis Intelligence Benchmarking Methodology (fuente original)
• Artificial Analysis Launches Intelligence Index v5 With Majority Private Datasets