NVIDIA libera 2,8 billones de tokens en 22 idiomas de India

NVIDIA e IIT Madras abren 2,8 billones de tokens en 22 idiomas de India

2,8 billones de tokens repartidos en 22 idiomas indios: ese es el tamaño de Nemotron-pretraining-Indic-v1, el corpus sintético que NVIDIA anunció junto a IIT Madras y su laboratorio AI4Bharat. Son las lenguas listadas en la Constitución de India, la primera lengua del 97% de los indios —cerca de 1.200 millones de personas según el Censo de 2011—.

Para un founder que construye producto para mercados hispanohablantes, el dato que importa no es el volumen. Es que el pipeline completo de generación se libera abierto: prompts, flujos de trabajo con LLM y controles de calidad incluidos. Eso convierte una donación de datos en una receta replicable para cualquier idioma con poca representación digital.

¿Qué es Nemotron-pretraining-Indic-v1 y por qué importa?

AI4Bharat es el laboratorio de lenguas indias de IIT Madras y ya había publicado Sangraha, un corpus abierto de pretraining para esos 22 idiomas que sirvió de base a buena parte de la investigación abierta en modelos indic.

El problema que ataca este release lo resumió Mitesh Khapra, quien dirige AI4Bharat y figuró en la lista TIME100 AI de 2025: la tecnología en idiomas indios va por detrás del inglés porque "no tenemos suficientes datos para los idiomas indios". La respuesta de NVIDIA y AI4Bharat no es solo más datos, sino más datos más la forma de fabricar más.

El corpus trae una mezcla de material inglés curado —matemáticas, código y contenido de preguntas y respuestas— traducido a idiomas indios. Cada registro se rastrea hasta su documento fuente y cada salida se contrasta contra su entrada, de modo que el texto sintético quede anclado en información real y no en invenciones del modelo.

Cómo se construye un corpus de 2,8 billones de tokens

El punto de partida son documentos de 15 subconjuntos de Nemotron-CC-v2, que cubren texto web, material de preguntas y respuestas, matemáticas, código y contenido especializado. Sobre eso corre NeMo Data Designer, el framework open source de NVIDIA para generar datos sintéticos.

Para el grupo de doce idiomas, el flujo tiene cuatro etapas:

• Traducción de documentos completos con Gemma-4-31B-it, elegido tras comparar modelos sobre documentos enteros y verificar la preservación de contenido técnico. Los prompts distinguen qué prosa se traduce y qué se conserva: código, ecuaciones, URLs y formato.
• Evaluación de calidad con el mismo modelo, usando una rúbrica inspirada en MQM (Multidimensional Quality Metrics) que cubre significado, fluidez, terminología, estilo y formato. Solo se retienen salidas con 75 puntos o más sobre 100.
• Reparación dirigida de las salidas que no alcanzan el umbral, guiada por la retroalimentación de la propia evaluación y con una nueva medición posterior. Este paso recuperó 438.400 millones de tokens, ya incluidos en el total del corpus.
• Romanización de un subconjunto de las traducciones aceptadas, convirtiéndolas a escritura latina y verificando cada resultado contra su entrada en escritura nativa.

Para los otros diez idiomas el equipo adaptó el flujo con Indic Translate, un modelo de traducción a nivel de documento de Bodhan AI, centro sin fines de lucro incubado en IIT Madras. Ahí aparecen dos soluciones de ingeniería que valen como referencia: los documentos largos en santali se traducen en ventanas superpuestas y se reconstruyen después, y el manipuri se traduce primero a escritura bengalí y luego se convierte a Meitei Mayek, su escritura nativa.

Los números del corpus: qué mirar antes de entrenar

El corpus se reparte en 2.601.000 millones de tokens en escritura nativa y 224.600 millones en texto romanizado, con conteos hechos con el tokenizer de Gemma-4. Son 34 configuraciones de idioma y escritura: las 22 lenguas en escritura nativa y doce de ellas también en versión romanizada.

Dos advertencias del propio equipo son clave para cualquiera que vaya a entrenar:

• Nativo no significa original. "Escritura nativa" describe el sistema de escritura, pero el texto sigue siendo una traducción del inglés. "Romanizado" es texto indio escrito en caracteres latinos, no una traducción al inglés.
• Los tokens del corpus no son el presupuesto de entrenamiento. Los conteos describen el corpus retenido, incluidos los rewrites aceptados, y dependen del tokenizer. Inventario de corpus y tokens de entrenamiento se leen por separado.

La página de desarrolladores de NVIDIA cifra su colección Nemotron en más de 12 billones de tokens de pretraining y más de 60 millones de muestras de post-training, y describe este corpus indic como de unos 2,83 billones de tokens co-creado con IIT Madras.

¿Funciona? Los resultados en Nemotron 3.5 Super VL

El corpus no se queda en el anuncio: alimentó la etapa de continued pretraining del modelo. El presupuesto configurado fue de 100.000 millones de tokens, con un 10% (10.000 millones) asignado a una mezcla de texto indic sintético y natural. El 90% restante mantuvo las proporciones de la mezcla anterior.

Los puntajes subieron en los cinco benchmarks de conocimiento y razonamiento indic reportados: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy e Indic GSM8K, con ganancias de entre 4,98 y 9,82 puntos porcentuales. El propio informe aclara que la comparación mide una etapa completa que combina datos sintéticos y naturales, no el aporte aislado del corpus sintético.

Frente a la generación anterior, Nemotron 3.5 Super VL superó a Nemotron 3 Super en cinco de seis benchmarks de tarea —conocimiento, razonamiento, matemáticas, código y traducción— y mejoró en las cuatro dimensiones de IndiVibe, el benchmark abierto de prompts tipo asistente en idiomas indios de Sarvam AI: utilidad, fluidez, fidelidad de idioma y escritura, y verbosidad adecuada. El seguimiento de instrucciones en IFEval 1.5 bajó 2,04 puntos.

Según unite.ai, el modelo se entrenó con unos 26 billones de tokens entre pretraining y continued pretraining, y se post-entrenó con cerca de 3,8 millones de muestras. blockchain.news reportó que NVIDIA presentó el 15 de octubre de 2026 un modelo multimodal abierto de 120.000 millones de parámetros con arquitectura mixture-of-experts y 12.000 millones de parámetros activos por token.

¿Qué significa esto para tu startup?

El valor de este anuncio para un equipo hispanohablante no está en India. Está en que el cuello de botella de datos se puede atacar con un pipeline, no con presupuesto. Si construyes producto en español para LATAM o España, tienes el mismo problema que AI4Bharat describía: menos corpus abierto que el inglés, y variantes regionales que los modelos grandes tratan como ruido.

Acción 1: usa la receta, no solo los datos. El plugin open source Nemotron Bharat para NeMo Data Designer incluye prompts de traducción y evaluación, reescritura opcional con retroalimentación, ventanas de documento y remapeo de escritura. Puedes apuntarlo a tus propios documentos fuente —contratos, manuales técnicos, documentación de producto— y generar corpus en español neutro o en una variante regional concreta. El paso de reparación es el que más rinde: en el caso indic recuperó 438.400 millones de tokens que habían quedado por debajo del umbral.

Acción 2: separa generación de aceptación. El plugin devuelve candidatos y puntajes; tu política de filtrado decide qué entra al corpus de entrenamiento. Trata esas dos cosas como etapas distintas y documenta el umbral que usas. Sin esa separación, cualquier error de traducción se convierte en dato de entrenamiento.

Acción 3: valida con hablantes nativos antes de escalar. El equipo de NVIDIA empezó con muestras pequeñas, revisó la preservación de código, matemáticas y formato, y ajustó prompts y controles con revisores nativos antes de producir a escala. Ese orden importa: escalar un prompt defectuoso multiplica el defecto.

Acción 4: fija la revisión del dataset. Hugging Face Datasets permite hacer streaming para inspeccionar registros sin descargar el corpus completo, y las configuraciones usan etiquetas de idioma, escritura y región —por ejemplo hi-Deva-IN para hindi en devanagari o hi-Latn-IN para hindi romanizado—. Para experimentos reproducibles, fija una revisión concreta antes de entrenar.

Los límites que conviene conocer antes de usarlo

El propio equipo es explícito con las advertencias, y son las que deberías copiar en tu evaluación interna:

• La traducción no reemplaza el texto escrito originalmente en el idioma. Amplía el acceso al material fuente, pero no garantiza cobertura de conocimiento local ni de cultura.
• La evaluación de calidad es mayormente automática, complementada con revisión humana por muestreo cuya cobertura varía entre idiomas. En el flujo de doce idiomas, el traductor también actúa como juez.
• El texto retenido todavía puede contener errores, y el flujo de diez idiomas necesita validación más amplia de hablantes nativos.
• Los chequeos de ID de fuente eliminan duplicados de procesamiento, no son deduplicación semántica de contenido similar. Si armas splits de validación, ten en cuenta que hay registros derivados de la misma fuente en varios idiomas y escrituras.

Conclusión

Nemotron-pretraining-Indic-v1 es menos una donación de datos que la publicación de un método. La cifra que se lleva los titulares son los 2,8 billones de tokens, pero lo que cambia el cálculo para un equipo pequeño es que NVIDIA y AI4Bharat liberaron también los prompts, los controles de calidad y el paso de reparación que hicieron posible ese volumen.

Para un founder hispanohablante, la lección es directa: si tu producto necesita un modelo que entienda bien tu idioma y tu dominio, el camino ya no pasa solo por esperar a que un laboratorio publique un corpus. Pasa por tomar esta receta, apuntarla a tus documentos y validar con hablantes nativos antes de escalar. El equipo de AI4Bharat también está construyendo Indic-LLM-Eval-Suite, una colección abierta de benchmarks, porque como ellos mismos señalan, la evaluación es la otra mitad del trabajo.

Fuentes

• Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline (fuente original)
• NVIDIA launches Nemotron 3.5 Super VL for multimodal agents
• NVIDIA Releases Open Nemotron 3.5 Super VL and Bolt Edge Models
• Sarvam becomes India's newest AI unicorn with $234 million funding round led by HCLTech
• Nemotron AI Models | NVIDIA Developer