Phonon: modelo de voz IA de 31M sin nube ni GPU

¿Qué es Phonon y por qué corre sin nube?

Phonon es una familia de modelos de texto a voz (TTS) que funciona entera en el dispositivo donde se ejecuta: 6,9 milisegundos hasta el primer audio en la CPU de un MacBook Air M5 con 4 hilos, según las pruebas que recoge Marktechpost. No hay llamada a la nube, no hace falta GPU y el texto que escribes no sale de tu equipo.

Para un founder, la traducción es concreta: voz sintética dentro de una app en un iPhone sin señal, en una Raspberry Pi 5 o en una pestaña del navegador, sin factura por carácter y sin depender de la latencia de un servidor. La mayoría de la voz con IA vive en la nube y cada frase hace un viaje de ida y vuelta; Phonon rompe ese supuesto.

El modelo lo desarrolla Gradium, una empresa parisina de voz con IA surgida de Kyutai, según Marktechpost. La compañía anunció Phonon en abril y dedicó los seis meses siguientes a pulirlo junto a partners y usuarios tempranos: los modelos se achicaron y se sumaron idiomas, clonación de voz y diseño de voces. La base técnica es la línea de Pocket TTS y usa flow matching para generar el audio, un enfoque distinto al de la mayoría de los sistemas TTS.

¿Qué modelos incluye y con qué licencia?

Phonon viene en dos tamaños, de unos 65 MB y 75 MB, y en conjunto habla inglés, francés, alemán, español y portugués. La familia se reparte así:

• Phonon 31m: solo inglés, licencia Apache 2.0. Se puede usar gratis, incluso dentro de un producto comercial.
• Phonon 40m: un modelo por idioma (inglés, francés, alemán, español y portugués), bajo licencia CC BY-NC. Gratis para proyectos no comerciales.
• Phonon 40m multilingüe: los cinco idiomas en un solo modelo, con 102 voces integradas, según Marktechpost.

Gradium aclara que si quieres usar los modelos CC BY-NC en un producto comercial, el precio se calcula por número de usuarios, no por volumen de audio generado. Es un detalle que cambia la economía de cualquier SaaS de voz: el costo no escala con las horas de audio, sino con la base de usuarios.

¿Qué tan bueno es un modelo de voz de 31M?

Aquí está la parte interesante. Un modelo de 31 millones de parámetros es minúsculo al lado de los sistemas de voz que corren en la nube, y la apuesta de Gradium es que la calidad no tiene que pagar el precio del tamaño.

En un set público de 500 frases difíciles por idioma, llenas de números de teléfono, correos y códigos postales, Phonon 31m registró 1,70% de WER frente al 3,50% de Kokoro y el 8,71% de NeuTTS Nano, según Marktechpost. La normalización de texto integrada explica buena parte de esa diferencia.

En pruebas ciegas de escucha con 1.189 evaluadores y 17.270 votos, el inglés estadounidense de Phonon 40m alcanzó 2117 de Elo y el 31m 2098, por delante de Kokoro (2043), NeuTTS (2034) y Magpie (1939), siempre según Marktechpost.

El dato que obliga a la cautela: en el set más fácil Seed-TTS, Phonon 31m marcó 0,51% de WER y quedó por detrás de Kokoro (0,45%) y Magpie (0,46%). Es decir, la ventaja aparece en el texto sucio del mundo real, no en las frases limpias de laboratorio.

La velocidad es donde el modelo se despega. En la misma CPU M5, Phonon llega al primer audio en 6,9 ms y corre 29,9 veces más rápido que el tiempo real; con Arm KleidiAI y Apple Accelerate sube a 46,7x. Kokoro tarda 517 ms en arrancar porque no hace streaming. En una Raspberry Pi 5, Phonon arranca en 38 ms y corre a 3,7x el tiempo real, mientras que Kokoro necesita 7 segundos para empezar. En un Snapdragon 8 Elite Gen 5 el arranque es de 7,5 ms a 24x, y en una GPU NVIDIA L40S con CUDA, de 5 ms.

¿Qué dice el Open TTS Leaderboard de Hugging Face?

El Open TTS Leaderboard es un proyecto nuevo de Hugging Face que ordena el caos: hoy hay más de 9.000 modelos TTS en el Hub y no existía un lugar único para compararlos. El ranking evalúa 23 idiomas con tres ejes —inteligibilidad (WER de las salidas), velocidad (factor de tiempo real inverso y tiempo hasta el primer audio) y naturalidad (UTMOS para inglés y KOMOS para coreano)— y cubre tanto voz fija como clonación, con una métrica extra de similitud de hablante.

En ese tablero, Phonon lidera en alemán y español y queda en el top 3 de todos los idiomas evaluados, compitiendo con modelos hasta 100 veces más grandes. Y en el benchmark de streaming en CPU, los modelos de Gradium encabezan el tiempo hasta el primer audio.

¿Cómo lo integras en tu producto?

Hay dos caminos, y no compiten entre sí:

• ptts, el framework de inferencia que Gradium construyó para Phonon, apunta a rendimiento en dispositivo con un solo stream. Soporta más de 10 backends: CPU (Intel, Arm, WebAssembly), GPU (CUDA, Vulkan, Metal, WebGPU) y NPU (Apple Core ML, Snapdragon).
• Transformers v5.21 trae la implementación de referencia en PyTorch, pensada para throughput en GPU: generación por lotes y torch.compile de grafo completo, ideal para sintetizar datasets de audio a escala.

El runtime se distribuye bajo licencia MIT o Apache 2.0 y cubre Rust, Python (pip install ptts), Swift, C, C++ y navegador. También incluye un servidor compatible con la API de OpenAI y un servidor WebSocket, según Marktechpost. Phonon además carga en MLX-Audio, Ollama y LM Studio.

El caso de Ollama merece atención: el 24 de octubre sumó texto a voz a su app para Mac, con Phonon como primer modelo de voz, según Technobezz. Requiere Ollama 0.40.11 o superior y Apple Silicon, y usa MLX. Ollama reporta una generación 35% más rápida que la implementación propia de Gradium en un MacBook Pro con M5 Max, con el mismo WER que la referencia de Hugging Face Transformers. Windows y Linux están anunciados sin fecha. La plataforma, que según 9to5Mac acumula cerca de 185.000 estrellas en GitHub, es hoy la puerta de entrada más rápida a un modelo de voz local.

Para las voces, hay más de 100 voces integradas y puedes crear la tuya en Gradium Studio: clonarla desde una grabación corta con consentimiento del hablante o describirla en texto. La voz se descarga, se carga en Phonon y corre local. Gradium también entrena modelos a medida con design partners: versiones más chicas si el presupuesto de memoria aprieta, idiomas como coreano, árabe o japonés, o fine-tuning sobre el vocabulario propio de tu producto.

¿Qué significa esto para tu startup?

Tres cosas, y las tres son accionables esta semana.

Primero, el costo de entrada a la voz bajó a casi cero. El 31m es Apache 2.0: puedes meterlo en un MVP comercial sin negociar licencia ni pagar por carácter. Si tu producto necesita español, prototipa con el 40m, que es CC BY-NC, y negocia la licencia comercial por usuarios antes de escalar. No dejes esa conversación para cuando ya tengas tráfico.

Segundo, mide la latencia en tu hardware real, no en el benchmark. Los 6,9 ms son de un MacBook Air M5. En una Raspberry Pi 5 el arranque es de 38 ms y en un Snapdragon 8 Elite Gen 5 de 7,5 ms. Si tu usuario está en un Android de gama media o en una zona con mala conectividad, esa es la cifra que importa, y es justo donde el enfoque on-device gana: no hay red que falle.

Tercero, elige la vía según el trabajo. Para una app que habla en tiempo real, ptts con streaming en dispositivo. Para generar un dataset de audio de miles de horas, Transformers v5.21 con generación por lotes en GPU. Y si solo quieres probar rápido en una Mac, ollama pull phonon te da voz en minutos.

Hay un cuarto ángulo, más estratégico: procesar la voz en el dispositivo reduce los datos personales que salen del equipo del usuario, algo que pesa cuando vendes a empresas con requisitos de privacidad o cuando operas en mercados con normativa estricta de datos. Para productos de salud, educación o atención a clientes, garantizar que el audio nunca salga del teléfono es un argumento que vende.

Conclusión

Phonon no es el mejor modelo de voz del mercado en todos los frentes: pierde en el set fácil de Seed-TTS y su licencia Apache cubre solo el inglés. Pero la combinación de 65 MB, Apache 2.0, 6,9 ms hasta el primer audio y un top 3 en todos los idiomas evaluados es difícil de ignorar. Más de 200.000 descargas en sus dos primeras semanas y su presencia en el Open TTS Leaderboard confirman que el interés no es teórico.

La lectura para un founder es simple: hasta hace poco, construir voz de calidad obligaba a elegir entre pagar la nube o aceptar una voz mediocre. Phonon empuja esa disyuntiva fuera de la mesa. La pregunta ya no es si puedes permitirte voz sintética, sino qué producto construyes cuando la voz es gratis, instantánea y privada.

Fuentes

• Hugging Face — A Closer Look at Phonon TTS (fuente original)
• Marktechpost — Gradium Open-Sources Phonon, a 31M-Parameter On-Device TTS Model
• Technobezz — Ollama Adds Phonon Speech Generation for Apple Silicon Macs
• 9to5Mac — Ollama for Mac gains support for local text-to-speech models