StateBench: el test que mide la memoria de los LLM

StateBench: el test que separa contexto largo de memoria confiable

Los modelos de IA más avanzados del mercado aciertan 13% o menos cuando deben seguir cambios de estado en documentos muy largos. Ese es el hallazgo central de StateBench, el benchmark de seguimiento de estado en contexto largo que publicó el equipo de Allen AI.

Para un founder, el número importa porque mide justo la capacidad que sostiene productos como agentes que operan sobre conversaciones extensas, asistentes que auditan código o sistemas que resumen contratos largos: que el modelo devuelva el dato vigente y no el que apareció en la página tres.

StateBench evalúa qué tan bien un modelo de lenguaje mantiene el rastro de la información sobre las entidades de un documento a medida que esa información evoluciona. El equipo lo ilustra con un ejemplo simple: si una novela dice que «John le dio el cuchillo a Mary» justo antes de un asesinato, el modelo necesita saber que el estado de cada personaje cambió.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

¿Qué niveles de dificultad mide StateBench?

El benchmark organiza los problemas en cuatro niveles de complejidad creciente, que el equipo describe en términos de operaciones de asignación de variables:

R-trivial (asignación inmutable): el valor de una variable nunca cambia. En código se ve como let x = 4; en la vida cotidiana, como una fecha de nacimiento.
Aperiódico (reasignación por valor): el modelo debe encontrar el valor más reciente e ignorar los anteriores. En código, x = 4 seguido de x = 2; en la vida real, un termostato.
Soluble (actualizaciones autorreferenciales): cada actualización se construye sobre el valor actual, así que hay que arrastrar los cambios en lugar de buscar la última asignación. En código, x = x + 5; en la vida real, el marcador de un partido.
General finito (asignación por referencia): una variable toma el valor actual de otra, creando dependencias entre actualizaciones. En código, x = y o intercambiar dos variables. El ejemplo del equipo: un mago esconde una bola bajo uno de cinco vasos y luego intercambia posiciones; seguir la bola es el problema de estado S₅, el más difícil de los cuatro niveles.

Estos niveles no son arbitrarios. Se apoyan en la teoría de Krohn–Rhodes, una rama del álgebra que describe cómo los problemas de seguimiento de estado se descomponen en primitivas atómicas, y cada nivel corresponde a una clase de problemas construible con un conjunto distinto de esas primitivas.

Para comparar los niveles de forma justa, el equipo parte de una misma secuencia general de asignaciones y deriva tres versiones más fáciles. Los cuatro problemas resultantes usan la misma cantidad de variables y valores, con asignaciones en los mismos puntos de la secuencia: lo único que cambia es el tipo de asignación.

¿Dónde fallan los modelos frontera?

El equipo probó primero modelos abiertos preentrenados, con datos de entrenamiento y longitudes de contexto documentadas: dos modelos de 7.000 millones de parámetros, Olmo 3 (un transformer) y Olmo Hybrid (que suma capas de Gated DeltaNet), más modelos más chicos de 275 millones y 2.700 millones de parámetros. Todos se preentrenaron con los mismos datos, ninguno vio contextos de más de 64.000 tokens durante el entrenamiento y a la mayoría se los evaluó con entradas muy por encima de esa longitud.

El patrón: casi todos rindieron bien en los problemas r-trivial, perdieron precisión en los aperiódicos a medida que las entradas crecían y se quedaron en el nivel del azar en los generales finitos.

El formato importó. Los modelos híbrido y Gated DeltaNet de 275 millones quedaron cerca del techo en problemas r-trivial al estilo RULER, pero cerca del azar en los mismos problemas presentados como ediciones de una hoja de cálculo. Esa brecha es una de las razones por las que StateBench prueba el mismo problema subyacente en varios formatos.

Después vinieron cuatro modelos frontera: Gemini 3.8 Flash, Claude Opus 5.5 y GPT-6 Sol y Luna. Los cuatro rindieron bien en r-trivial y aperiódicos. Pero en los solubles y generales finitos la precisión cayó en picada a medida que las entradas se alargaban, hasta 13% o menos en los problemas generales finitos más largos. Un factor probable, según el equipo, es la sensibilidad: en esos niveles hay muchos más pasos que pueden afectar la respuesta final, así que queda menos margen para omitir una actualización sin equivocar el resultado.

¿Es un límite de la arquitectura o de los datos?

La pregunta de fondo era si la dificultad refleja límites de las arquitecturas o si el preentrenamiento simplemente no enseña a resolver esas tareas. Para separarlo, el equipo entrenó desde cero varios modelos de 275 millones de parámetros sobre StateBench: dos variantes de transformer, dos híbridos y dos variantes de Gated DeltaNet con distintas restricciones en la actualización de memoria.

El entrenamiento usó secuencias de hasta 256 asignaciones y la evaluación llegó a secuencias de 64.000 asignaciones, es decir 250 veces la longitud máxima vista en entrenamiento.

Ahí las arquitecturas se separaron. Gated DeltaNet y los híbridos generalizaron casi perfectamente en problemas r-trivial, aperiódicos y solubles hasta las secuencias más largas probadas, de decenas de miles de asignaciones. Los transformers aprendieron los niveles fáciles pero se degradaron en secuencias largas, y nunca aprendieron los problemas generales finitos. En el nivel más difícil, la variante de Gated DeltaNet con actualización de memoria más flexible generalizó más lejos: se mantuvo cerca de la perfección hasta aproximadamente 10 veces la longitud de las secuencias más largas que vio en entrenamiento.

La lectura del equipo: para Gated DeltaNet y los híbridos, la brecha apunta al entrenamiento más que a la arquitectura, porque entrenados directamente aprendieron niveles que sus versiones preentrenadas no podían. Los transformers fueron distintos: incluso entrenados directamente, nunca aprendieron el nivel más difícil.

¿Qué significa esto para tu startup?

Algunas consecuencias prácticas:

No confundas ventana de contexto con memoria confiable. Que un modelo acepte contextos muy largos no significa que siga bien los cambios de estado dentro de ellos. Si tu producto depende de datos que se actualizan a lo largo de un documento, evalúa esa capacidad por separado antes de comprometerte con un proveedor.
Diseña tus pruebas con el formato real de tu producto. El mismo problema dio resultados muy distintos según se presentara al estilo RULER o como edición de hoja de cálculo. Si tu caso de uso es reconciliar registros, revisar cambios en código o seguir un hilo de conversación, prueba con ese formato y no con un test genérico.
Elige arquitectura según la tarea, no según el ranking. Si necesitas seguir cadenas de dependencias —auditoría de código, agentes con estado, trazabilidad de datos—, los modelos recurrentes e híbridos muestran una ventaja que los transformers no alcanzan ni con entrenamiento dirigido. Si tu tarea es recuperar el último valor de un campo, un transformer bien elegido sigue siendo suficiente.
Construye tu propia evaluación interna. StateBench es público y cubre cuatro niveles de dificultad; úsalo como punto de partida y añade tus propios documentos y entidades para medir el caso concreto que vendes.

Lo que StateBench todavía no cubre

El propio equipo marca los límites. StateBench asume un número fijo de variables, mientras que las tareas reales suelen introducir entidades nuevas con el tiempo: en una conversación larga aparecen personas y objetos que el modelo también debe empezar a rastrear. Ese escenario queda fuera del marco actual.

También queda abierto el lugar exacto en la jerarquía de la variante de Gated DeltaNet con actualización de memoria más limitada (autovalores no negativos): una prueba nueva muestra que puede resolver todas las tareas aperiódicas y ciertas tareas periódicas, como seguir si una entrada repetida ocurrió un número par o impar de veces, bajo la aritmética de precisión fija con redondeo que usa el paper. Falta determinar si puede resolver todas las tareas solubles y cómo afectan su capacidad la precisión numérica o la combinación con capas de atención.

No se encontraron datos adicionales verificables sobre StateBench en fuentes externas al anuncio original de Allen AI al momento de publicar este artículo.