Memorilla, memoria para LLMs: 16 tokens y 108x menos

Memorilla, un sistema de memoria presentado en arXiv, comprime una colección completa de documentos en apenas 16 tokens y supera a Mem0 y MemoRAG en cinco de ocho benchmarks de personalización, documentos largos y preguntas intensivas en conocimiento. En FactKG alcanza 84,33% de precisión frente al 80,43% de la inferencia con contexto completo, usando 108 veces menos tokens para representar los documentos fuente. Si tu startup paga por ventanas de contexto enormes o sufre porque el agente olvida lo que pasó tres turnos atrás, este paper ataca exactamente ese problema.

¿Qué es Memorilla y cómo funciona la memoria semántica latente?

La idea central es fácil de enunciar y difícil de ejecutar: en lugar de pegar documentos en el prompt, Memorilla aprende a condensar toda una colección en un número fijo de memory tokens que se insertan en el espacio de embeddings de entrada del modelo.

El detalle que más importa para un equipo pequeño: el LLM permanece congelado. Memorilla no reentrena el modelo base. Codifica los documentos una sola vez en embeddings reutilizables y luego aprende a recuperar y colocar la información específica de cada consulta. Para quien no tiene presupuesto de fine-tuning, esa arquitectura es la diferencia entre poder experimentar y no poder hacerlo.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

El sistema se apoya en Qwen3-Embedding-4B para generar los vectores de 2560 dimensiones, que ya vienen precalculados en el dataset que los autores publicaron en Hugging Face. Eso significa que puedes arrancar a evaluar sin pagar una pasada de embeddings sobre tu propio corpus.

Los números: 16 tokens, 84,33% en FactKG y 108 veces menos contexto

Los benchmarks que reporta el paper son ocho: PersonalizationV4, PersonaMem-v2, FactKG, TriviaQA, NarrativeQA, PubMedQA, LaMP-4 y LaMP-7. Memorilla gana en cinco de los ocho frente a Mem0 y MemoRAG.

El caso más llamativo es FactKG: 84,33% de precisión contra 80,43% de la inferencia con contexto completo. Es decir, el sistema comprimido no solo empata con leer todo el material: lo supera, y con 108 veces menos tokens representando los documentos fuente.

En agentes, el paper reporta un experimento en TextWorld donde la memoria reduce la tendencia del agente a deambular entre habitaciones que ya exploró y sube la tasa de éxito promedio de 18,6% con aprendizaje en contexto de historial completo a 24,2%. Ese salto importa por el escenario elegido: el número de documentos crece a medida que avanza la trayectoria del agente, que es exactamente cómo se comporta un agente en producción y no como un benchmark de una sola pregunta.

El dataset público incluye 18 configuraciones de datos, con colecciones que van desde las 200 conversaciones de un usuario ficticio en PersonalizationV4 hasta pasajes de Wikipedia en inglés. La ficha en Hugging Face registraba 644 descargas en el último mes, una señal de que el interés es todavía temprano.

Un detalle útil para quien quiera medir en serio: el conjunto marca 629 preguntas de test como difíciles, definidas como aquellas que el modelo Qwen3-4B-Instruct-2507 falla incluso cuando se le entrega la conversación más relevante. Es una forma limpia de separar mejoras reales de ruido.

¿Cómo se compara Memorilla con Mem0 y MemoRAG?

El mercado de memoria para agentes dejó de ser un experimento de laboratorio. Según un comunicado de past.dev difundido por PRNewswire, DolphinBench —el benchmark de Mem0 para agentes que ejecutan acciones reales— evalúa 600 tareas simuladas en chat, email, calendarios, documentos y revisiones de código, y en ese mismo terreno compiten Hindsight, Honcho y Supermemory.

Vale leer esas cifras con cautela. En el mismo comunicado, el CTO de past.dev, Alex Ronse, reconoce que su resultado es auto-reportado hasta que Mem0 lo corra como configuración oficial. La lección para un founder no es quién gana el ranking, sino que ya existen benchmarks públicos y reproducibles para una decisión que antes se tomaba por intuición.

Memorilla entra a esa discusión con un enfoque distinto: no compite por recuperar mejor los fragmentos más relevantes, sino por comprimir la colección entera en un número fijo de tokens. Menos piezas móviles en el pipeline significa menos superficie donde el retrieval puede fallar.

¿Qué significa esto para tu startup?

La pregunta práctica no es si Memorilla es mejor que Mem0 en abstracto, sino si el problema que resuelve es el tuyo. Estas son las decisiones que puedes tomar esta semana:

Mide con tus propios documentos antes de reescribir tu stack. El dataset de Memorilla está publicado en Hugging Face con los embeddings ya calculados. Corre una muestra de tus conversaciones o de tu base de conocimiento y compara contra tu pipeline actual de RAG. Si tu caso no está entre los ocho benchmarks, ese test vale más que cualquier leaderboard.
Traduce los 108x a tu factura. El paper reporta 108 veces menos tokens para representar los documentos fuente en FactKG. Toma tu volumen mensual de consultas, multiplícalo por el costo por token de tu proveedor y verás el orden de magnitud del ahorro potencial en contexto. Aunque la compresión no sea tan agresiva en tu dominio, la dirección del ahorro es la misma.
Diseña para memoria acumulativa, no para ventana infinita. El experimento de TextWorld ataca un problema que todo agente en producción tiene: qué hacer cuando el historial crece sin parar. Si tu agente corre semanas, la pregunta correcta no es cómo meter todo en el contexto, sino qué decidir olvidar y cómo.
Revisa las licencias antes de entrenar. La ficha del dataset advierte que cada configuración se distribuye bajo la licencia de su fuente original y que algunas están restringidas a uso no comercial. Si tu producto es comercial, revisa caso por caso antes de usar esos datos para entrenar.

¿Qué no responde todavía el paper?

Conviene ser explícito sobre los límites de lo publicado. El abstract no reporta cifras de latencia ni de costo computacional del entrenamiento, dos variables que suelen definir si una técnica es viable en producción. Tampoco hay resultados en español ni en otros idiomas distintos del inglés, algo relevante si tu producto atiende a usuarios hispanohablantes.

Los resultados provienen de benchmarks académicos. No hay evidencia publicada de despliegues reales a escala, y el propio dataset advierte sobre licencias no comerciales en algunas de sus fuentes. No se encontraron datos adicionales verificables sobre adopción comercial del sistema.

Conclusión

Memorilla apunta a un cuello de botella que casi todos los equipos que construyen con LLM conocen de primera mano: el contexto es caro, lento y finito, y el historial de un agente crece más rápido de lo que cualquier ventana aguanta. Que un sistema congelado, sin fine-tuning, logre 84,33% en FactKG con 16 tokens y 108 veces menos contexto no resuelve el problema de la memoria de los agentes, pero sí mueve la discusión de cuánto contexto puedes pagar a cuánta información puedes comprimir sin perder precisión.

Para un founder, la lectura útil es de método: hay un dataset público, benchmarks reproducibles y una arquitectura que no exige reentrenar nada. Eso convierte una decisión que antes era de fe en una decisión que se puede medir con tus propios datos.