Lattice of Latents: 45% menos KV cache y mejor perplejidad

¿Qué es el Lattice of Latents?

Un modelo de 406 millones de parámetros bajó su perplejidad de validación de 15,41 a 14,40 frente a un Transformer con el mismo número de parámetros. La diferencia no está en más capas ni en más pasos de razonamiento: está en cuántos estados computacionales mantiene activos el modelo al mismo tiempo.

Eso es lo que propone el Lattice of Latents, el trabajo publicado en la página de proyecto de Shivam Duggal (indexado como arXiv 2611.21608 según el índice papers.cool). La idea: además del residual stream vertical que atraviesa la profundidad de la red, agregar un conjunto de streams latentes horizontales por capa que se actualizan de forma recurrente a lo largo del tiempo, token a token.

Traducido para quien no vive leyendo papers: la mayoría de las mejoras de los últimos años empujan la computación por token hacia arriba (más capas, capas en loop, pasos de razonamiento latente) o mejoran el flujo de información entre capas (hyper-connections, residuales de atención o de valor). El Lattice ataca un eje distinto: la capacidad computacional, entendida como la cantidad de estados activos que el modelo sostiene de forma persistente.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

¿En qué se diferencia de Mamba-2 o Gated DeltaNet?

Acá está el punto fino, y es el que más se confunde. Los modelos híbridos Transformer–SSM (Mamba-2, Gated DeltaNet, Triadic GDN y sus combinaciones) también tienen estados recurrentes, pero esos estados funcionan sobre todo como memoria interna para mezclar secuencias.

En el Lattice, los latentes horizontales no son solo memoria: condicionan directamente la atención del stream vertical, las escrituras al KV cache, el cómputo del MLP y el decodificado. Participan de la decisión, no solo del recuerdo.

El paper reporta que sobre Gated DeltaNet, Mamba-2, Triadic GDN y los híbridos GDN–Mamba-2 el Lattice mejora la perplejidad en todos los tamaños de estado nativo probados, y que las variantes Lattice-GDN y Lattice-Triadic-GDN superan a las líneas base puras con estados nativos 4× más grandes. Ese último dato es el más incómodo para el statu quo: sugiere que sumar estados persistentes por capa rinde más que agrandar el estado recurrente del mixer.

¿Por qué un KV cache 45% más chico importa tanto?

Los dos LLLM del paper usan 22 capas contra 40 del Transformer 40L. Con el mismo ancho de atención (1024), eso les deja un KV cache 45% más chico.

Para un founder, el KV cache no es un detalle de laboratorio: es lo que determina cuánta memoria ocupa cada secuencia en inferencia y, por lo tanto, cuántas conversaciones simultáneas entran en una GPU. Menos KV cache por token significa más contexto servible con el mismo hardware. Es la clase de mejora que se traduce en factura de nube, no en un leaderboard.

Para mantenerse iso-parámetro, los modelos Lattice estrechan el ancho vertical de 1024 a 932. Es decir: no ganan por tener más parámetros, ganan por reorganizarlos.

Los resultados, en orden

  • Transformer base: perplejidad de validación 15,41.
  • Lattice (406M, iso-parámetro): 14,40.
  • Transformer con hyper-connections + input residuals: 14,22.
  • Lattice + esas mismas mejoras: 13,61.

El Lattice se compone con las mejoras previas del residual stream en lugar de competir con ellas. Ese es el hallazgo más relevante desde la ingeniería: no hay que elegir entre hyper-connections y latentes horizontales.

Los entrenamientos se hicieron sobre 20B tokens de FineWeb-Edu. En el régimen duro que el paper describe —stream vertical comprimido a 256 dimensiones— las mejoras horizontales recuperan buena parte de la brecha contra un Transformer de ancho completo, con 10B tokens de preentrenamiento. Y en la comparación de modelos recurrentes puros contra sus versiones Lattice (~405M parámetros, 10B tokens), el patrón se repite.

¿Qué significa esto para tu startup?

Primero, una advertencia de honestidad: esto es investigación en etapa de paper, con modelos de 400M de parámetros entrenados sobre 20B tokens. No es un modelo que puedas llamar por API mañana, y la fuente no ofrece evidencia de que el efecto se sostenga en modelos de frontera. Tratarlo como verdad establecida sería el error clásico de leer un abstract y rediseñar el roadmap.

Dicho eso, hay dos cosas accionables:

  • Si tu producto depende del costo por token, sigue la línea del KV cache. Un KV cache 45% más chico con 22 capas en lugar de 40 es una señal de hacia dónde se mueve la eficiencia en inferencia. Si eliges proveedor o arquitectura para un producto con contexto largo (agentes, RAG sobre documentos extensos, asistentes con memoria), la memoria por secuencia es la variable que más te pega en la factura cuando escalas usuarios.
  • Si entrenas o haces fine-tuning propio, no descartes los recurrentes híbridos. El paper sugiere que un Gated DeltaNet o un Mamba-2 con latentes horizontales puede igualar a un baseline con un estado nativo 4× más grande. Para quien tiene cómputo limitado —el caso de casi todo el ecosistema hispanohablante—, la pregunta correcta no es Transformer o SSM, sino qué combinación da más capacidad por dólar de entrenamiento.

Y una tercera, de método: la eficiencia de un modelo no se mide solo en parámetros. Dos modelos con el mismo conteo pueden tener perfiles de memoria y de cómputo por token muy distintos. Cuando compares opciones para tu producto, mira GFLOP por token y tamaño de KV cache, no solo el número de parámetros.

Lo que todavía no se puede afirmar

El propio paper acota su alcance: los resultados son sobre 20B tokens de FineWeb-Edu y modelos del orden de los 400M de parámetros. No hay en la fuente evidencia de que la ganancia se mantenga al escalar a modelos mucho más grandes, ni comparaciones de costo real de inferencia en producción.

Tampoco aparece, en lo que se pudo verificar, una implementación pública lista para usar ni resultados de terceros replicando el método. Hasta que eso exista, el Lattice of Latents es una dirección de investigación prometedora —y una buena señal de por dónde va la próxima ola de arquitecturas—, no una decisión de infraestructura.

No se encontraron datos adicionales verificables sobre adopción comercial, licenciamiento o financiación asociados a este trabajo.

Fuentes

¿te gustó o sirvió lo que leíste?, Por favor, comparte.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Daily Shot: Tu ventaja táctica

Lo que pasó en las últimas 24 horas, resumido para que tú no tengas que filtrarlo.

Suscríbete para recibir cada mañana la curaduría definitiva del ecosistema startup e inversionista. Sin ruido ni rodeos, solo la información estratégica que necesitas para avanzar:

  • Venture Capital & Inversiones: Rondas, fondos y movimientos de capital.
  • IA & Tecnología: Tendencias, Web3 y herramientas de automatización.
  • Modelos de Negocio: Actualidad en SaaS, Fintech y Cripto.
  • Propósito: Erradicar el estancamiento informativo dándote claridad desde tu primer café.

📡 El Daily Shot Startupero

Noticias del ecosistema startup en 2 minutos. Gratis, todos los días.

Share to...