IA local: iPhone 17 Pro ejecuta modelos 400B con Flash-MoE

Ejecución de modelos de IA gigantes en dispositivos móviles

La posibilidad de ejecutar modelos de IA de más de 400.000 millones de parámetros (400B) en un iPhone 17 Pro con apenas 12 GB de memoria unificada marca un antes y después en el desarrollo de IA local. Gracias a un nuevo motor de inferencia open source denominado Flash-MoE, creado por Daniel Woods, se ha demostrado que es posible correr modelos como Qwen 3.5 397B en hardware considerado, hasta hace poco, insuficiente. La clave reside en el uso eficiente tanto de la memoria como de los discos SSD ultrarrápidos actuales, permitiendo superar los estrictos límites de RAM para IA en dispositivos personales.

¿Cómo es posible esta innovación?

La innovación detrás de Flash-MoE reside en aprovechar la memoria unificada y transferir la carga de grandes modelos a unidades SSD de alto rendimiento, una técnica inspirada en investigaciones como “LLM in a flash” de Apple. Antes, la memoria de vídeo era el factor limitante principal para la ejecución local de IA, pero ahora un almacenamiento rápido puede suplir parte de esa carga, permitiendo que modelos previously inalcanzables corran localmente. Sin embargo, hay un coste: la velocidad de generación de tokens es baja (menos de 1,1 tokens por segundo en los experimentos con el iPhone 17 Pro), aunque ya es un gran avance técnico.

Impacto para founders y startups tecnológicas

Para founders y startups tecnológicas de Latinoamérica y el mundo, esta brecha tecnológica abre oportunidades inéditas en privacidad, optimización de recursos y reducción de dependencia de la nube. Ejecutar modelos grandes de IA en dispositivos económicos posibilita nuevas verticales (edge AI, automatización privada, apps sin conexión) y puede reducir drásticamente los costos de infraestructura y el riesgo de exposición de datos sensibles. El movimiento open source en IA, impulsado por proyectos como Flash-MoE y metodologías como autoresearch, acelera esta democratización, permitiendo la adopción inmediata de tecnologías de frontera.

👥 ¿Quieres ir más allá de la noticia?

En nuestra comunidad discutimos las tendencias, compartimos oportunidades y nos ayudamos entre emprendedores. Sin humo, solo acción.

👥 Unirme a la comunidad

Implicancias en privacidad y soberanía de datos

La privacidad es uno de los grandes beneficios de la inferencia local: los datos no salen nunca del dispositivo y no dependen de proveedores externos. En contextos donde la regulación de datos es cada vez más relevante (como en servicios financieros, salud, legaltech o educación), la posibilidad de correr modelos de IA avanzados en local puede ser una ventaja competitiva clave para startups.

Retos y próximos pasos

Si bien la velocidad aún es una limitante práctica para muchas aplicaciones, el ritmo de avance es acelerado. La combinación de discos SSD PCIe 5.0 de hasta 15 GB/s y motores como Flash-MoE permite prever que, en los próximos años, el uso de IA local superará barreras previas. Las contribuciones open source, la experimentación técnica y la iteración rápida serán esenciales para aprovechar esta tendencia en productos y servicios tech basados en IA local y privacidad.

Conclusión

La posibilidad de ejecutar modelos IA gigantes en dispositivos modestos redefine el mapa de la innovación. Founders que comprendan cómo implementar y aprovechar esta tecnología tendrán una clara ventaja en privacidad, costo y control, abriendo un futuro donde la IA local ya no es solo un sueño para grandes corporaciones o data centers, sino también para startups ágiles, creativas y enfocadas en el usuario y sus datos.

Descubre cómo otros founders implementan estas soluciones para escalar con IA local y mayor privacidad.

Aprender con founders