Self-Attention de Costo Constante: Avance en Eficiencia de IA
El desafío del costo cuadrático en Transformers Los Transformers han revolucionado la inteligencia artificial, desde GPT-4 hasta modelos multimodales que procesan texto, imágenes y código. Sin embargo, enfrentan un problema fundamental: el mecanismo de self-attention convencional escala de manera cuadrática con la longitud del contexto, es decir, con complejidad O(N²), donde N es el número …









