Ventana de contexto: por qué la IA olvida lo que dijiste

Por qué la IA se olvida de lo que le dijiste al principio

Le pides a un chatbot que escriba siempre en tono formal y sin emojis. Cuarenta mensajes después, el tono se relajó y apareció el primer emoji. No es mala educación ni un fallo puntual: es cómo funcionan los modelos de lenguaje. Un LLM solo «ve» una cantidad limitada de texto a la vez, medida en tokens, y su atención no se reparte por igual dentro de ese espacio. Entender esas dos ideas cambia por completo cómo trabajas con IA.

¿Qué es un token y por qué no equivale a una palabra?

Un token es el trozo en el que el modelo corta el texto antes de procesarlo. Según la documentación de OpenAI, una palabra corta y común como «the» es un solo token, mientras que «tokenization» se parte en «token» e «ization». No es lo mismo que una palabra.

Las equivalencias oficiales son aproximadas y están calculadas para inglés:

• OpenAI: 1 token son unos 4 caracteres o unas tres cuartas partes de una palabra en inglés.
• Google: en los modelos Gemini, un token son unos 4 caracteres y 100 tokens equivalen a entre 60 y 80 palabras en inglés.

Ambas empresas aclaran que la equivalencia vale para texto en inglés. Ninguna publica una cifra equivalente para el español en esas páginas, así que conviene tomarlas como orientación, no como regla. El análisis de whizi.io sobre ventanas de contexto añade un matiz que impacta directo en tu factura: el texto en idiomas menos representados en el tokenizador puede consumir dos o tres veces más tokens para decir lo mismo.

Hay un detalle que casi nadie tiene en cuenta: los modelos de razonamiento gastan tokens «internos» antes de responder. OpenAI explica en su guía de razonamiento que esos reasoning tokens no son visibles, pero ocupan espacio en la ventana de contexto y se facturan como tokens de salida. Una respuesta corta puede haber consumido muchos más tokens de los que parece.

¿Qué es la ventana de contexto y por qué no es memoria infinita?

Es todo el texto que el modelo puede tener en cuenta al generar una respuesta, incluida la propia respuesta. La documentación de Anthropic la describe como una «memoria de trabajo», distinta de los datos con los que se entrenó el modelo. Google usa la misma analogía: la compara con la memoria a corto plazo de una persona.

En una conversación, todo se acumula ahí dentro: tus mensajes, las respuestas, los documentos que subes, las instrucciones del sistema. Cada turno nuevo arrastra los anteriores. Y una parte importante de ese contenido es invisible: el prompt del sistema, tus instrucciones personalizadas, los resultados de búsquedas y las respuestas largas del propio modelo consumen el mismo presupuesto que tus mensajes.

Las cifras publicadas son enormes. Según la documentación oficial consultada por WWWhat's New en octubre de 2026, los modelos de la API de OpenAI manejan ventanas de alrededor de 1,05 millones de tokens, los de Anthropic van de 200.000 a 1 millón, y Gemini 4 Argon comparte 1.048.576 tokens entre entrada, razonamiento y salida. Google pone un ejemplo de escala: un millón de tokens equivale a unas 50.000 líneas de código o a ocho novelas en inglés de extensión media.

Ojo con un matiz clave: esas cifras son de la API, la puerta de entrada para desarrolladores. En la aplicación de chat que usas cada día el límite puede ser otro y depende del plan. Anthropic, por ejemplo, publica una tabla distinta para claude.ai según el modelo y el producto.

El efecto «lost in the middle»: por qué el medio se pierde

Si caben un millón de tokens, ¿por qué se olvida? Por dos motivos distintos.

El primero es de capacidad. Cuando la conversación se acerca al límite, algo tiene que salir. Anthropic indica que interfaces como claude.ai pueden gestionar la ventana en modo «primero en entrar, primero en salir», y en los planes de pago con ejecución de código Claude resume los mensajes antiguos para hacer sitio. Un resumen conserva la idea general, pero puede perder el detalle de una instrucción concreta que diste al principio.

El segundo es de atención, y ocurre aunque sobre espacio. El estudio que puso nombre a esto es «Lost in the Middle: How Language Models Use Long Contexts», de Nelson F. Liu y otros seis autores, publicado en arXiv en julio de 2023 y aceptado en la revista Transactions of the Association for Computational Linguistics. Su hallazgo fue que el rendimiento es más alto cuando la información relevante aparece al principio o al final del contexto, y se degrada de forma significativa cuando el modelo debe acceder a información enterrada en el medio.

Es decir, la curva tiene forma de U. Lo que dijiste al principio y lo último que escribiste se recuerdan mejor que lo que quedó sepultado en el medio. Y en una charla larga, tu instrucción inicial va quedando cada vez más en medio a medida que se acumulan mensajes.

El análisis de diffray.ai sobre dilución de contexto cifra el problema: mover la información relevante de los bordes al centro del contexto le costó a los modelos más de 20 puntos porcentuales de precisión en los experimentos originales. El mismo análisis recoge que, en un caso, la precisión de GPT-3.5-Turbo en preguntas sobre múltiples documentos cayó por debajo de su rendimiento sin contexto alguno cuando el dato relevante se colocaba a mitad del texto. Agregar contexto perjudicó activamente al modelo.

¿Por qué la IA se degrada aunque sobre espacio?

Anthropic lo dice en su documentación técnica: a medida que crece el número de tokens, la precisión y la capacidad de recordar se degradan, un fenómeno que llama context rot. Y añade que más contexto «no es automáticamente mejor». Google, en su guía, reconoce que sus modelos rinden bien al buscar un único dato en un texto largo, pero que con varios datos a la vez la precisión ya no es la misma.

La investigación posterior confirma que el problema sigue vivo. El análisis de diffray.ai recoge el benchmark RULER de NVIDIA, publicado en abril de 2024, que mostró que las longitudes de contexto declaradas exceden con creces las longitudes efectivas: GPT-4 anunciaba 128K tokens pero rendía de forma fiable hasta 64K, y Mistral 7B caía casi 80 puntos al pasar de 4K a 128K. El benchmark NoLiMa de Adobe Research, de febrero de 2025, encontró que 11 de 12 modelos cayeron por debajo del 50% de su rendimiento base con solo 32K tokens cuando la pregunta y el contenido no compartían palabras literales.

El paper es de 2023 y los modelos han mejorado mucho desde entonces. Pero la documentación actual de Anthropic y Google sigue advirtiendo de la degradación en contextos largos, así que la lectura razonable es que el problema se ha atenuado, no resuelto.

Seis hábitos para que la IA no pierda el hilo

• Pon la pregunta al final. Es la recomendación literal de Google: con contextos largos, el modelo rinde mejor si colocas tu pregunta al final del prompt. Si pegas un documento, primero el documento y después lo que quieres saber.
• Repite las instrucciones críticas. Si una regla importa (tono, formato, idioma), recuérdala cada cierto número de mensajes. Es barato y la saca del medio.
• Abre un chat nuevo cuando cambies de tema. Un hilo que mezcla tres tareas llena la ventana de ruido. Empezar de cero con un resumen de lo importante suele funcionar mejor que arrastrar todo.
• Pide un resumen antes de cerrar una sesión larga. Cópialo y pégalo al principio de la siguiente. Así controlas tú qué se conserva, en lugar de dejarlo a un resumen automático.
• No pegues más de lo necesario. Google lo dice sin rodeos: si no necesitas pasarle tokens al modelo, es mejor evitarlo. Recorta el documento a la sección relevante.
• Trabaja con fuentes acotadas. Herramientas que se centran en tus propios documentos, como las que generan un resumen en audio a partir de tus fuentes, reducen el riesgo de que la información clave se diluya en una conversación eterna.

¿Qué significa esto para tu startup?

Si construyes producto sobre una API, la ventana de contexto no es solo una cifra de marketing: es tu principal motor de costo y latencia. Cada token que entra se paga y se procesa, y los prompts largos encarecen cada llamada. La regla práctica que propone whizi.io es tratar aproximadamente la mitad de la ventana anunciada como el rango fiable de trabajo, y verificar en vez de creer todo lo que pase de ahí.

Dos acciones concretas para aplicar esta semana:

• Instrumenta tu ventana efectiva. No te fíes de la cifra anunciada del modelo. Toma un documento largo cuya respuesta correcta ya conoces, pásalo por tu modelo y mide en qué punto empieza a fallar. Ese número —no el del marketing— es el que debe gobernar tu arquitectura.
• Diseña para recuperación, no para volcado. Si tu producto necesita razonar sobre mucho material, la solución no es una ventana más grande sino traer solo los fragmentos relevantes para cada pregunta. El análisis de diffray.ai recoge que la técnica de Contextual Retrieval de Anthropic, de septiembre de 2024, redujo los fallos de recuperación un 49% añadiendo apenas 50-100 tokens de contexto por fragmento, y hasta un 67% combinada con reranking.

Y si usas IA para tu propio trabajo, el cambio de hábito más rentable es dejar de tratar el chat como una libreta infinita. La habilidad útil no es llenar la ventana, sino decidir qué entra en ella y dónde.

Conclusión

La carrera por la ventana de contexto más grande se vende como si fuera memoria infinita, y no lo es. Un millón de tokens es un almacén enorme, pero la atención del modelo sigue sin repartirse igual por todo el almacén. El marketing de «cabe todo» invita justo al uso en el que el modelo tiene más probabilidades de pasar por alto algo: pegar documentos enteros y conversar durante horas.

Para un founder, la lectura es doble. Si consumes IA, la disciplina de curar el contexto te da respuestas más precisas y más baratas. Si construyes con IA, entender la diferencia entre capacidad declarada y capacidad efectiva es la diferencia entre un producto que funciona a escala y uno que se degrada en silencio a medida que crecen los datos de tus usuarios.

Fuentes

• https://wwwhatsnew.com/2026/10/18/ia-se-olvida-tokens-ventana-de-contexto (fuente original)
• https://diffray.ai/es/blog/context-dilution/
• https://whizi.io/es/resources/what-is-a-context-window/