NVIDIA Nemotron 3.5 Transcribe: ASR abierto en 40 idiomas

Un solo modelo para transcribir, traducir y saber quién habló

NVIDIA publicó Nemotron 3.5 Transcribe, un modelo de voz de pesos abiertos que resuelve en un único checkpoint cuatro tareas que hasta ahora obligaban a encadenar servicios distintos: transcripción, atribución de hablantes (diarización), traducción y preguntas y respuestas sobre el audio. Está disponible en Hugging Face y ModelScope.

El dato que importa para un equipo de producto no es la arquitectura, sino cuántas integraciones desaparecen. En lugar de contratar una API para transcribir, otra para separar voces y una tercera para traducir, se sirve un solo modelo y se le pide cada salida con una instrucción en lenguaje natural: «transcribe esta grabación y etiqueta a cada hablante», «traduce este audio al inglés» o «¿qué decisiones se tomaron en esta reunión?».

La cobertura declarada: transcribe 40 idiomas, traduce 31 de ellos desde o hacia inglés y atribuye hablantes en 13. Acepta grabaciones de hasta una hora y etiqueta hasta ocho hablantes. Corre en una sola GPU NVIDIA, desde una DGX Spark hasta sistemas Blackwell de centro de datos.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

¿Qué resultados obtiene frente a los modelos cerrados?

El modelo encabeza la lista de modelos de pesos abiertos en el Hugging Face Open ASR Leaderboard para inglés, con 5,33% de WER promedio. En la pista multilingüe registra 4,62% de WER medio en siete idiomas y en la de formato largo 10,98%, los valores más bajos entre los modelos abiertos evaluados en la comparativa de su model card.

En Artificial Analysis, empata en el primer puesto entre modelos abiertos con 2,8% de AA-WER, con aproximadamente 4.000 millones de parámetros activos frente a los 24.000 millones del modelo con el que empata. En el set de voz de agentes AA-AgentTalk marca 1,8% de WER, contra 2,3% del siguiente mejor modelo abierto. El truco está en la arquitectura: un encoder de voz acoplado a un modelo de lenguaje híbrido Mamba-Transformer con mezcla de expertos, donde solo unos 4.000 millones de sus 30.000 millones de parámetros se activan por token.

En atribución de hablantes los números también son concretos. En el benchmark de diarización de David AI sobre 21 idiomas obtiene la tasa de error más baja de los 14 sistemas probados, 18,26% de DER, apenas por delante del modelo dedicado Nemotron 3 Diarization (18,38%). En VoiceArena, sobre sesiones completas en inglés, logra el menor cpWER de 14 sistemas, 32,4%, y la menor tasa de palabras omitidas: 8,32% frente a una mediana cercana al 31%.

El contexto competitivo ayuda a dimensionarlo. Mistral lanzó Voxtral 3 en octubre de 2026 con tres modelos de transcripción y un SDK de agentes de voz; su modelo Small Transcribe 3 reporta 2,1% de AA-WER y el tercer puesto en Artificial Analysis, pero sin pesos abiertos, según el análisis de Marktechpost. Es decir: la ventaja de Nemotron no es ganar el ranking absoluto, sino quedar en la frontera de precisión con un modelo que puedes descargar, inspeccionar y adaptar.

Granary v2: los datos que hacen posible el prompt

Un modelo que se controla con instrucciones necesita datos de entrenamiento con formatos inequívocos. Granary v2 es el pipeline de curación que NVIDIA publica junto al modelo, construido con NeMo Curator. Su manifiesto público cubre 463.062 horas en 48 idiomas y 16 corpus de origen, frente a los 25 idiomas de Granary v1.

El pipeline genera tres formas de transcripción para cada grabación: texto normalizado y verbatim, normalización inversa con disfluencias y normalización inversa sin ellas. Son exactamente los estilos que después se piden al modelo con un prompt. Además produce captions cortos, restauración de préstamos lingüísticos, pares de preguntas y respuestas anclados al audio y términos de sesgo para ASR contextual.

El filtro de alta fidelidad merece atención: descarta segmentos ruidosos, recortados o con varios hablantes. Aplicado al dataset VoxPopuli, redujo 354.000 horas a 111.000 horas en 22 idiomas europeos. Para quien entrena modelos pequeños con presupuesto limitado, ese filtro es la diferencia entre un dataset ruidoso y uno usable.

El caso médico: cómo bajar el WER un 45,8% con fine-tuning

El estudio de caso sobre voz médica es la parte más accionable del lanzamiento. Sobre el benchmark abierto de Eka Care con grabaciones de médicos y estudiantes de medicina de India (3.619 clips), el equipo partió de un WER de 30,8% con el modelo tal cual.

Solo mejorando el prompt —nombrando el inglés y el alfabeto latino— el WER bajó a 23,8%. Después, con fine-tuning sobre unos 153 horas de voz sintética, 29 horas de inglés con acento de Common Voice y 63 horas de grabaciones médicas de MultiMed, el resultado en el set completo llegó a 11,8%, cerca de 62% menos errores que el modelo sin adaptar.

Lo importante es la parte limpia del experimento. Dividiendo el benchmark por hablante, con 855 clips para ajustar y 2.764 clips retenidos, el WER en hablantes nuevos cayó de 22,44% con el mejor prompt a 12,17%, una reducción relativa de 45,8%. El WER de palabras clave bajó de 9,2% a 6,5% y el semántico de 10,0% a 7,6%. Con el mismo evaluador, ese 12,17% supera a un modelo médico especializado abierto (13,79%) y a un ASR de propósito general ampliamente usado (14,92%).

El costo de esa adaptación: alrededor de 14 horas de GPU en una sola NVIDIA GB300, entrenando el encoder de voz y usando LoRA para adaptar el modelo de lenguaje. El precio de la especialización es un leve retroceso en inglés general: LibriSpeech test-clean sube de 1,54% a 1,69% de WER.

¿Qué significa esto para tu startup?

La barrera para construir productos de voz acaba de bajar un escalón, pero no en la dirección que suele contarse. No se trata de que un modelo abierto sea gratis, sino de que la adaptación a tu dominio dejó de ser un proyecto de meses.

Prueba el prompt antes de entrenar. En el caso médico, nombrar idioma y alfabeto en la instrucción bajó el WER de 30,8% a 23,8% sin tocar un solo peso. Antes de presupuestar fine-tuning, escribe un prompt de desarrollo que especifique idioma, escritura y formato de transcripción, y mide.
Reserva al menos 100 clips reales etiquetados para seleccionar checkpoints, y evalúa los tipos de entidad que tu aplicación necesita (nombres de fármacos, marcas, jerga interna) junto con la retención de habla general. El propio estudio advierte que el especialista médico todavía gana en coincidencias exactas de marcas farmacéuticas.
Si no quieres autohospedar, hay endpoints gestionados de Baseten, DeepInfra y Simplismart. Si prefieres control total, se sirve con vLLM o se corre localmente con NeMo-Speech.cpp.
Revisa el caso de uso antes de enamorarte del modelo. Nemotron 3.5 Transcribe está diseñado para audio grabado, no para streaming en vivo. Si tu producto es un agente de voz en tiempo real, esta pieza no encaja: el modelo procesa, no escucha en directo.

El mercado acompaña el movimiento. Mordor Intelligence estima el mercado de APIs de speech-to-text en 2.870 millones de dólares en 2026, con una tasa de crecimiento anual compuesta de 20,23% hasta 2031, y Grand View Research lo proyecta en 5.100 millones para el mismo año, según recoge el análisis comparativo de blockchain.news. En precios de referencia, ese mismo análisis sitúa las APIs de transcripción de OpenAI desde 0,006 dólares por minuto, Google Cloud Speech-to-Text en 0,016 y AWS Transcribe en 0,024.

Con ese telón de fondo, la jugada de NVIDIA es coherente con su estrategia de familia: Nemotron 3.5 Lightning llegó en agosto de 2026 para cargas de alto rendimiento, Nemotron 3.5 Super VL en octubre para agentes multimodales, y ahora Transcribe para voz, según reportaron CNBC y Unite.AI. Modelos abiertos que necesitan GPUs para correr, y por lo tanto venden hardware.

Para un founder hispanohablante, la lectura práctica es otra: la cobertura de 40 idiomas y la traducción desde y hacia inglés abren la puerta a productos de voz para mercados que las APIs dominantes tratan como secundarios. Y el pipeline de datos, las recetas de fine-tuning y el manifiesto público significan que adaptar el modelo a un acento o a una jerga sectorial ya no requiere un equipo de investigación, sino un dataset decente y un fin de semana de GPU.