TIS-100: 16 LLMs baten 3 récords de programación

Qué es TIS-100 y por qué se convirtió en un benchmark de IA

TIS-100 es un juego de puzles de Zachtronics donde el jugador programa una máquina ficticia de doce nodos. Cada nodo tiene dos registros y quince líneas de código, y los nodos vecinos deben esperar turnos para intercambiar valores. Multiplicar dos números ya es un pequeño proyecto de ingeniería.

Durante una década, la comunidad optimizó esos programas en un ranking público alojado en GitHub. Un equipo de wincon.dev tomó el juego, le entregó el manual a 16 modelos de lenguaje y les ocultó ese ranking. La consigna era simple: resolver los 55 puzles y seguir mejorándolos.

El resultado: 133 nuevos puntos frontera, 18 de 55 puzles con al menos un punto nuevo y 3 récords de ciclos batidos de forma absoluta.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

El juego puntúa cada solución en ciclos, nodos e instrucciones. Bajar una métrica suele empeorar otra, así que no existe una única respuesta óptima: existe una frontera de tradeoffs. Eso es lo que vuelve al juego un banco de pruebas interesante para medir si un modelo no solo resuelve, sino que sabe negociar restricciones.

Cómo se midió: 100.000 tests por programa

Cada resultado del benchmark es un programa ejecutable y verificable, no una respuesta de texto. Los modelos recibieron lo mismo que inspeccionaría un jugador humano, pero a través de herramientas de texto en lugar de ratón y capturas de pantalla: el manual, las entradas de prueba visibles, los registros y el feedback del juego.

No tuvieron acceso al código de la comunidad ni a los récords exactos, solo a los histogramas de puntaje del propio juego. El diseño del entorno incluye varios detalles que cualquier equipo que construya agentes debería mirar con atención:

Diagnóstico real: las salidas incorrectas y los bloqueos devuelven discrepancias, registros y puertos bloqueados, para que la siguiente edición responda a evidencia y no a intuición.
Progreso guardado: cada programa que pasa se suma a la frontera del modelo y se recupera con get_best, de modo que una edición riesgosa no destruye un resultado anterior.
Recordatorios: si un modelo termina su turno antes de tiempo, un aviso lo empuja a seguir probando. Los recordatorios no contienen pistas de solución.
Reloj visible: los modelos ven el tiempo consumido contra un límite de 10, 30 o 45 minutos según dificultad. El setup no cuenta; el razonamiento y las llamadas al juego sí.

Para contar un punto en el ranking principal hace falta una repetición desde el juego limpio y 100.000 tests aprobados en el simulador independiente TIS-100-CXX. El juego solo verifica un puñado de casos por corrida, así que ese volumen de pruebas es la evidencia de que el programa generaliza a entradas nuevas.

Los resultados: Opus 5.5 y GPT-6 Astra empatan en la cima

Opus 5.5 y GPT-6 Astra lideran y los datos no los separan. Ambos resolvieron los 55 puzles y ambos encontraron puntos frontera nuevos en 11. Opus 5.5 encontró más puntos, 72 contra 32, mientras que GPT-6 Astra tiene la mayor cercanía al récord, 78,0 contra 77,2.

Esa cercanía mide qué tan cerca quedan los programas del modelo de los récords de la comunidad, donde 100 significa igualarlos. La diferencia entre ambos tiene un intervalo bootstrap del 95% que incluye el cero, de −0,7 a +2,4 puntos. GPT-6 Astra además lidera las seis configuraciones de hipervolumen evaluadas, que miden el espacio cubierto por los tradeoffs de cada modelo.

Detrás, el pelotón se ordena así: Gemini 4 Argon (54 de 55 resueltos, 8 puntos nuevos), Sonnet 5.5 (53, 7), GPT-6.1 Sol (54, 6) y Fable 5.1 (52, 5). Con un solo punto nuevo quedaron Gemini 3.8 Flash, Muse Wonder 1.0, Haiku 5.5 y GLM-5.3. Y cinco modelos cerraron con cero: Grok 4.7, DeepSeek V4.1 Flash, GPT-6 Luna, Muse Spark 1.3 y MiMo-V2.6-Pro.

El récord más llamativo: 29% más rápido

El caso de Undecimal Twin Rounder, uno de los ocho puzles de torneo, muestra hasta dónde llega la optimización. El puzle redondea una entrada al múltiplo más cercano de N en una salida y de 11−N en la otra. Cuando se congeló el ranking, el mejor programa de la comunidad tardaba 2.694 ciclos.

Opus 5.5 pasó su primer programa a los 6,5 minutos, con 5.669 ciclos. Bajó del récord a los 16 minutos y terminó en 1.918 ciclos, un 29% más rápido. Ese ahorro de tiempo costó un nodo más y 28 instrucciones más que el récord anterior.

El núcleo del programa es una búsqueda de dos velocidades: en lugar de restar N paso a paso, los nodos 5 y 6 restan 4N hasta pasarse y después suman N hasta que el valor se vuelve positivo. Cada uno maneja un pequeño coprocesador al que le envía saltos por un puerto, de modo que el coprocesador funciona como tabla de consulta.

Los otros dos récords absolutos son de GPT-6.1 Sol, con 3.460 ciclos en Intersection Identifier contra 3.872 (11% más rápido), y de Gemini 4 Argon, con 188 ciclos en Error: 8 contra 198 (5% más rápido). Los tres son puzles de torneo, ninguno del juego principal. De los 133 puntos frontera nuevos, 18 superan un récord de la comunidad y los otros 115 son tradeoffs nuevos: mejores balances entre las tres métricas que cualquier solución humana.

Resolver y optimizar son habilidades distintas

El benchmark deja una distinción útil para cualquiera que diseñe agentes. Gemini 3.8 Flash resolvió 53 puzles y encontró puntos nuevos en 1. Fable 5.1 resolvió menos, 52, y encontró puntos nuevos en 5. No es la misma habilidad.

Los puntos nuevos se concentran en lo difícil: aparecen en 14 puzles duros, 4 medios y ninguno fácil. En puzles con récord de 200 ciclos o menos, el 88% de los episodios pasa y solo el 4% encuentra un punto nuevo. Por encima de 500 ciclos, pasa el 76% y encuentra uno el 8%. Los puzles largos son más difíciles de resolver pero más fáciles de mejorar.

La velocidad es la métrica más dura. En promedio, los modelos están mucho más cerca de la comunidad en nodos (proximidad media de 72) que en instrucciones (56) y muy lejos en ciclos (45).

El costo no sigue a la calidad

GPT-6.1 Sol alcanza 75,6 de cercanía al récord con un costo estimado de US$0,75 por puzle. Opus 5.5 llega a 77,2 con US$5,08: siete veces el costo por dos puntos más. Fable 5.1 es el más caro, con US$7,19, y se queda en 70,2.

La actividad tampoco explica la calidad. GPT-6.1 Sol promedia 136 llamadas al juego por puzle para 75,6 de cercanía; Gemini 4 Argon promedia 41 para 76,2. En total, el experimento consumió 880 episodios, 95,5 millones de tokens de salida y 62.400 llamadas a herramientas del juego.

El contexto de precios ayuda a leer esas cifras. Según el relevamiento de estadísticas de costos de IA de CoinCentral (octubre de 2026), Opus 5.5 se lista a US$4 por millón de tokens de entrada y US$20 por millón de salida, mientras que GPT-6 Luna y Claude Haiku 5.5 se ubican en US$0,10 y US$0,50. Es una brecha de 40 veces en el precio de salida.

Esa asimetría empuja al mercado hacia el enrutamiento entre modelos. GitHub presentó Copilot Fusion, que coordina varios modelos y, según su evaluación interna, quedó a dos puntos de Opus 5.5 Max en el Coding Agent Index completando tareas a la mitad del costo y en 40% menos tiempo, reportó MoneyControl. Meta, por su parte, afirma que su modelo Muse Ember cuesta unos US$0,14 por tarea de Artificial Analysis frente a US$2,39 de Muse Spark 1.3, con puntajes de inteligencia casi idénticos, según ProPakistani.

¿Qué significa esto para tu startup?

Si construyes producto con agentes de IA, el benchmark de TIS-100 deja lecciones que aplican directo a tu operación.

1. Mide costo por tarea resuelta, no por millón de tokens. Un modelo a US$1 por millón de tokens que necesita 5 millones de tokens para terminar una tarea cuesta US$5. Otro a US$2 que la cierra con 1 millón cuesta US$2. CoinCentral lo plantea explícitamente: el precio por token engaña cuando los modelos de razonamiento generan muchos tokens internos facturables. Instrumenta tu producto para registrar el gasto por tarea completada.

2. Separa «resolver» de «optimizar» en tu pipeline. Son habilidades distintas, como muestra la brecha entre Gemini 3.8 Flash y Fable 5.1. Usa un modelo para llegar a una solución que funcione y otro, o una segunda pasada, para reducir costo, latencia o uso de recursos. No esperes que el mismo prompt haga las dos cosas bien.

3. Copia el patrón de progreso guardado. El harness del benchmark conserva cada programa que pasa y lo recupera con get_best, para que una edición riesgosa no borre un resultado anterior. Traducido a tu producto: versiona cada mejora de prompt, configuración o código antes de que un agente la modifique, y permite volver atrás sin perder lo que ya funcionaba.

4. No dejes que el agente abandone temprano. Los recordatorios del entorno, sin pistas de solución, subieron el puntaje simplemente empujando al modelo a seguir probando. En tus flujos, un reintento con el mismo contexto suele rendir más que cambiar de modelo.

Conclusión

TIS-100 no mide si un modelo sabe escribir código elegante: mide si sabe negociar restricciones durante horas, con feedback imperfecto y sin acceso a las soluciones de otros. Los 133 puntos frontera nuevos y los tres récords batidos muestran que los modelos de frontera ya compiten con una década de optimización humana en problemas pequeños y acotados.

Pero el dato más útil para un founder no es quién ganó, sino la dispersión de costos: siete veces más gasto por dos puntos de mejora, y modelos baratos resolviendo casi todo lo que resuelven los caros. La pregunta rentable dejó de ser qué modelo es el mejor y pasó a ser qué modelo es suficientemente bueno para esta tarea específica.