Embeddings posicionales: RoPE y el salto a 100k tokens

Por qué un LLM necesita saber dónde está cada token

RoPE (Rotary Position Embedding, o embedding posicional rotatorio) es el mecanismo que la mayoría de los LLM actuales usa para saber en qué orden llegaron los tokens. Y el dato que explica por qué nadie se conforma con el método clásico: en GPT-2 Medium, la capa de embeddings posicionales representaba apenas el 0,30% de los pesos del modelo con 1.024 posiciones. Si el contexto se extendiera al rango de 100.000 tokens que hoy es común, esa misma capa pasaría a ocupar más del 22% de los pesos totales. Un bloque que parecía menor se convierte en el problema central cuando el contexto crece.

Considera dos frases: «The red fox jumps over the gray fox» y «The gray fox jumps over the red fox». Cambia el orden y cambia quién salta. Pero la palabra «fox» recibe el mismo token ID en ambos casos y, por lo tanto, el mismo vector de embedding. Sin información posicional explícita, la atención no tiene forma de distinguirlas.

Hay un matiz que muchos tutoriales omiten: los modelos tipo GPT usan una máscara causal, que restringe cada token a mirar solo hacia atrás. Esa máscara ya introduce un orden implícito, y es la base de la idea conocida como NoPE (sin embeddings posicionales explícitos). Aun así, la máscara no distingue una separación de una posición de una de diez. Por eso casi todos los modelos siguen inyectando la posición de forma explícita.

Las tres familias de codificación posicional

• Posiciones aprendidas (GPT-2): una tabla con un vector por posición, que se suma al embedding del token antes del primer bloque transformer. El modelo la aprende durante el entrenamiento, y por eso la longitud de contexto debe decidirse antes de entrenar. Extenderla después es caro.
• Sinusoides fijas (transformer original de 2017): el paper «Attention Is All You Need» usa el mismo mecanismo de suma, pero calcula los vectores con funciones seno y coseno fijas, que no se actualizan durante el entrenamiento. Además escala los embeddings de token por la raíz de la dimensión del modelo antes de sumar.
• RoPE (relativa): en lugar de sumar un vector al embedding, rota los vectores query y key dentro de la atención, usando la posición de cada token.

Las dos primeras son absolutas: el vector depende de la posición contada desde el inicio de la secuencia. RoPE es relativa, y ahí está su ventaja.

Cómo funciona RoPE, sin matemáticas pesadas

En atención, cada token se proyecta en tres vectores: query, key y value. Los productos punto entre queries y keys determinan los pesos de atención. RoPE toma la posición del token y rota su query y su key antes de ese producto. Los value quedan fuera de la rotación.

Un ejemplo con los números del artículo de referencia: si un par de features de la query y la key arranca en (1, 5), su producto punto es 26. Con una rotación de 20° por posición, en la posición 2 la key gira 40° y en la posición 5 la query gira 100°. El resultado: los dos vectores quedan a 60° de distancia y el producto punto cae a 13.

Lo importante viene después. Si mueves la key de la posición 2 a la 3 sin tocar sus valores, el ángulo entre ambos se reduce a 40° y el producto punto sube a 19,92. La atención cambió solo por el desplazamiento. Y si desplazas ambas posiciones por la misma cantidad —por ejemplo, agregando un system prompt de 100 tokens al inicio—, los dos vectores ganan la misma rotación, el ángulo se conserva y el producto punto no cambia. Eso es exactamente lo que se busca: que la atención dependa de la distancia relativa entre tokens, no de su posición absoluta.

Para calcular la frecuencia de cada par de features, el paper original de RoFormer usa una base de 10.000 aplicada sobre la dimensión de la cabeza de atención.

Qué usan los LLM de 2026

Los modelos abiertos actuales rara vez implementan RoPE «completo». Dos ejemplos verificables:

MiniMax-M3, lanzado el 1 de junio de 2026, aplica RoPE dentro de la atención con normalización previa de queries y keys (QK-Norm) y rotación parcial, es decir, solo sobre una parte de cada cabeza. Según TechTimes, el modelo declara una ventana de contexto de un millón de tokens y una arquitectura de atención dispersa que reduce el cómputo por token en ese contexto a 1/20 respecto de su generación anterior.

LFM3, de Liquid AI, aplica rotación parcial solo sobre la mitad de mayor frecuencia de cada cabeza de atención global, dejando la otra mitad agnóstica a la posición. TechTimes reporta que la familia organiza sus capas en tres regímenes —convoluciones, atención de ventana deslizante de 256 tokens y atención global— y que eso reduce la KV cache a cerca del 27% de lo que requeriría un transformer estándar de 24 capas, con un contexto de 256K tokens.

En paralelo, la investigación sobre NoPE sigue avanzando. Un paper publicado en arXiv en abril de 2026 sobre atención bidireccional sin embeddings posicionales sostiene que un transformer NoPE puede reconstruir posiciones absolutas a partir de la máscara causal.

¿Qué significa esto para tu startup?

Nada de esto es trivia académica si estás pagando inferencia.

1. El contexto largo tiene dos costos, no uno. El primero es el precio por token. El segundo es la memoria: la KV cache crece con la longitud del contexto, y es la razón por la que existen arquitecturas como las de LFM3 o la atención dispersa de MiniMax. TechTimes reporta que MiniMax M3 se lanzó a US$0,60 por millón de tokens de entrada y US$2,40 por millón de salida, frente a los aproximadamente US$5 y US$25 por millón que cobraba Claude Opus 4.7 según la misma publicación. Antes de elegir modelo por precio, mide cuántos tokens de contexto consumes realmente por tarea.

2. Prueba tu contexto real, no el del benchmark. Que un modelo anuncie un millón de tokens de ventana no significa que mantenga la calidad en todo ese rango. Las frecuencias de RoPE se calibraron durante el entrenamiento para cierta longitud, y los métodos de extensión de contexto funcionan mejor en unos modelos que en otros. Arma un set de 20 a 30 consultas con documentos largos reales de tu producto y compara precisión por rango de posición: inicio, medio y final del contexto. Es la única prueba que te sirve para decidir.

3. Si haces fine-tuning o post-entrenamiento, revisa qué hace la librería con las posiciones. Muchos frameworks incluyen variantes de RoPE —rotación parcial, bases distintas, estrategias de extensión— como configuración, y no siempre coinciden con lo que el modelo original vio en su preentrenamiento. Un desajuste ahí degrada el rendimiento en contexto largo sin arrojar ningún error visible.

Conclusión

La codificación posicional pasó de ser un bloque de relleno a ser una decisión de arquitectura con impacto directo en cuánto contexto puedes procesar y a qué costo. GPT-2 resolvía el problema con una tabla aprendida y 1.024 posiciones; los modelos de 2026 lo resuelven rotando queries y keys dentro de la atención, y aun así siguen optimizando el mismo cuello de botella. Para un founder, la lectura práctica es simple: el contexto es un recurso con precio, y entender cómo lo maneja el modelo que usas es la diferencia entre una factura predecible y una sorpresa a fin de mes.

Fuentes

• Understanding Positional Embeddings in Modern LLMs (fuente original)
• Liquid AI Releases LFM3: Six Open-Weight Models Fuse Text, Vision, Audio on One 2B Backbone (TechTimes)
• MiniMax M3 Open-Weight Coding Model: Frontier Claims, Unverified Benchmarks (TechTimes)
• Dual Triangle Attention: Effective Bidirectional Attention Without Positional Embeddings (arXiv)

Artículos relacionados:

Supabase: tokens acotados por defecto para agentes IA VocabX: vocabulario a medida que corta 77% el coste IA Agent Swarm reduce 99.2% costos de tokens con Code Mode Perplexity lanza Portable Computer: agente IA local sin coste de tokens Little-lm 3.8B: entrenan un LLM por US$998 y supera a GPT-2