Embeddings posicionales: RoPE y el salto a 100k tokens
Por qué un LLM necesita saber dónde está cada token RoPE (Rotary Position Embedding, o embedding posicional rotatorio) es el mecanismo que la mayoría de los LLM actuales usa para saber en qué orden llegaron los tokens. Y el dato que explica por qué nadie se conforma con el método clásico: en GPT-2 Medium, la …









