Introducción
Cuando el modelo Transformer fue introducido en 2017 con el influyente trabajo de Google ‘Attention Is All You Need’, se convirtió en un componente esencial de la inteligencia artificial moderna. Sin embargo, los desafíos de esta arquitectura han motivado la búsqueda de alternativas más eficientes.
El surgimiento de Brumby-14B-Base
El 28 de octubre de 2025, la startup menos conocida, Manifest AI, presentó una alternativa radical al modelo Transformer con el Brumby-14B-Base, un modelo reentrenado de Qwen3-14B-Base que prescinde completamente del mecanismo de atención. En su lugar, utiliza una novedosa técnica denominada retención de potencia, una arquitectura recurrente y eficiente en términos de hardware que almacena y actualiza información sobre contextos arbitrariamente largos sin el crecimiento exponencial de memoria de la atención.
Entrenado con solo $4,000, el modelo Brumby de 14 mil millones de parámetros se desempeña al nivel de modelos Transformer establecidos como Qwen3-14B y GLM-4.5-Air, logrando una precisión casi al nivel del estado del arte en pruebas de razonamiento y comprensión.
Impacto en la industria
El mecanismo de retención de potencia reemplaza la operación de similitud global de la atención con una actualización del estado recurrente, manteniendo una matriz de memoria actualizada en cada paso de tiempo según las claves, valores y señales de puerta aprendidas. Esto resulta en un tiempo de computación por token constante, sin importar la longitud del contexto, en contraste con la escalabilidad cuadrática de la atención tradicional. La eficiencia hardware significativa de Brumby, con aceleraciones reportadas de cientos de veces en contextos muy largos en comparación con los mecanismos de atención, es especialmente relevante para founders interesados en la innovación y avances en infraestructura de IA.
Conclusión
La introducción del Brumby-14B-Base representa un paso prometedor hacia alternativas eficientes y escalables a la IA basada en Transformers, lo que podría cambiar la economía y la diversidad en las arquitecturas de modelos de IA. Estas innovaciones son cruciales para democratizar la experimentación a gran escala en IA, permitiendo que grupos más pequeños innoven con menores costos de reentrenamiento y una mejor integración en motores de inferencia comunes.
Descubre cómo otros founders implementan estas soluciones…
