Más allá del Transformer: 5 startups que redefinen la IA

¿Por qué los transformadores se han convertido en un cuello de botella para tu startup?

OpenAI proyecta gastar 50.000 millones de dólares en computación este año, según declaraciones de su presidente, Greg Brockman, reportadas por Reuters. Esta cifra astronómica ilustra el insostenible coste financiero y energético de la arquitectura de inteligencia artificial (IA) dominante desde 2017: los transformadores (transformers). Para los fundadores de startups tecnológicas, la dependencia de estos modelos masivos tradicionales amenaza con estrangular sus márgenes operativos, obligándolos a buscar alternativas de infraestructura más eficientes y escalables.

La Agencia Internacional de la Energía (IEA) pronostica que la cantidad total de electricidad consumida por los centros de datos se duplicará para el año 2030. En este contexto de crisis energética y costes de inferencia desbocados, una nueva oleada de startups está desafiando el monopolio de los gigantes tecnológicos. Estas compañías persiguen lo que el MIT Technology Review ha denominado la generación LLMs+, desarrollando arquitecturas alternativas que prometen hacer la IA más rápida, barata y, en última instancia, más inteligente.

El mecanismo de los transformadores se basa en la "atención densa", un proceso que codifica el significado de un bloque de texto comparando cada palabra (o token) con todas las demás mediante multiplicaciones matemáticas. Aunque este enfoque ofrece una precisión asombrosa, su coste computacional crece de forma cuadrática. Por ejemplo, procesar un documento de 10.000 palabras puede requerir más de 50 millones de multiplicaciones.

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

Este crecimiento cuadrático limita gravemente la "ventana de contexto" de los modelos. Para los agentes autónomos modernos, que necesitan asimilar bases de código completas, bibliotecas de documentos o flujos de vídeo continuos, los transformadores tradicionales resultan prohibitivos. Además, los modelos de razonamiento actuales funcionan mediante "cadenas de pensamiento" (chain of thought), escribiendo notas internas que luego deben volver a leer, lo que multiplica exponencialmente la cantidad de datos que la infraestructura debe procesar y almacenar.

¿Cómo optimizan la atención Subquadratic y Manifest AI?

Para solucionar este problema de raíz, la startup Subquadratic, con sede en Miami, ha desarrollado SubQ, un mecanismo de "atención dispersa". A diferencia de la atención densa, SubQ determina sobre la marcha qué palabras son relevantes para una tarea específica y descarta las demás, reduciendo drásticamente el cómputo necesario sin perder la capacidad de capturar el significado en tareas complejas como la búsqueda y la programación.

Por su parte, Manifest AI, ubicada en San Francisco, propone sustituir la atención por un mecanismo denominado "power retention" (retención de potencia). En lugar de obligar al modelo a procesar todo el contenido de su ventana de contexto, esta tecnología proporciona un resumen continuo de la información procesada. A medida que entra nueva información, el sistema descarta de forma dinámica los datos menos relevantes.

El CTO de la compañía, Carles Gelada, destaca que esta tecnología permite analizar horas de vídeo o mantener agentes activos durante semanas con un coste mínimo. Para demostrar su viabilidad, han convertido el modelo de código abierto StarCoder en PowerCoder, y han lanzado Brumby, un modelo que compite directamente con la familia Qwen de Alibaba.

¿Qué son los modelos híbridos líquidos y la generación por difusión?

Otra de las propuestas más disruptivas proviene de Liquid AI, una spin-off del MIT con sede en Cambridge, Massachusetts. Liderada por su CEO Ramin Hasani, la compañía desarrolla Modelos Fundacionales Líquidos (LFMs). Estos modelos son híbridos: combinan un 20% de transformadores con un 80% de redes neuronales líquidas, una tecnología inspirada en el cerebro de los gusanos que permite al modelo adaptar su comportamiento ante nueva información en tiempo real (algo imposible con los transformadores tradicionales, cuyo comportamiento queda fijo tras el entrenamiento).

Los modelos de Liquid AI son extremadamente compactos y eficientes. Pueden ejecutarse localmente en chips integrados de vehículos de marcas como Mercedes o incluso en una Raspberry Pi de 50 dólares. Con más de 34 millones de descargas, la startup ofrece sus modelos de forma gratuita para cualquier organización con ingresos inferiores a los 10 millones de dólares, igualando el rendimiento de modelos mucho más grandes como Gemma de Google o Qwen de Alibaba.

En Palo Alto, California, la startup Inception aborda la eficiencia desde la generación de texto. Mientras que los LLMs tradicionales generan texto palabra por palabra, Inception utiliza técnicas de difusión (comunes en la generación de imágenes y vídeo) para producir frases o párrafos enteros de golpe. Su CEO, Stefano Ermon (investigador de la Universidad de Stanford), descubrió en 2024 las matemáticas necesarias para aplicar la difusión al texto.

Su último modelo, Mercury 2, iguala el rendimiento de las versiones de GPT-4 de OpenAI de 2023, pero funciona 10 veces más rápido y con una décima parte del coste. Google también ha validado este camino con su prototipo Diffusion Gemma.

¿Cómo Pathway supera los límites del lenguaje con modelos de espacio de estados?

La propuesta más extrema la lidera Pathway, también basada en Palo Alto. Su CEO, Zuzanna Stamirowska, argumenta que obligar a los de modelos a razonar exclusivamente a través del texto limita su capacidad intelectual en tareas complejas como las matemáticas o la lógica. Para superarlo, han desarrollado Dragon Hatchling, un modelo que sustituye los transformadores por "espacios de estados".

Esta estructura matemática comprime la información en representaciones abstractas en lugar de procesarla palabra por palabra. El resultado es un modelo capaz de imitar formas de razonamiento no lingüísticas. En pruebas de rendimiento, Dragon Hatchling resolvió el 97% de una serie de 250.000 sudokus de alta dificultad, un reto en el que los LLMs comerciales más avanzados de los principales laboratorios fracasaron por completo.

¿Qué significa esto para tu startup?

La transición de la industria desde el paradigma de "cuanto más grande, mejor" hacia la optimización de la "inteligencia por dólar" abre un abanico de oportunidades para los fundadores de startups tecnológicas. Ya no es obligatorio depender de las costosas APIs de los gigantes de la IA para construir soluciones competitivas.

Como fundador, puedes implementar las siguientes acciones concretas para capitalizar esta disrupción:

Auditar y diversificar tu infraestructura de modelos: No utilices modelos de propósito general y alto coste para tareas que requieran procesamiento local, dispositivos periféricos (edge) o funciones altamente acotadas. Evalúa alternativas como los LFMs de Liquid AI para despliegues locales de bajo consumo, o modelos basados en difusión como los de Inception para reducir tus costes de inferencia de texto hasta en un 90%.
Diseñar arquitecturas de agentes preparadas para el post-transformer: Si estás construyendo agentes de IA que deben procesar grandes volúmenes de datos (código, bases de datos o vídeo), evita estructurar tu flujo de trabajo alrededor de la atención densa tradicional. Diseña tu arquitectura de manera agnóstica al modelo, permitiendo la integración de tecnologías de retención dinámica (como la de Manifest AI) o modelos de espacio de estados (como los de Pathway) para gestionar contextos masivos sin disparar tus costes operativos.