NVIDIA Nemotron 3.5 Lightning: gratis en Vercel AI Gateway

Nemotron 3.5 Lightning ya está gratis en Vercel AI Gateway

Nemotron 3.5 Lightning, el modelo abierto de NVIDIA, se suma al catálogo de Vercel AI Gateway sin costo de inferencia, bajo el identificador nvidia/nemotron-3.5-lightning-free y servido por NVIDIA. El dato que importa para tu startup: un modelo de 30.000 millones de parámetros con ventana de 1 millón de tokens entra por la misma API que ya usas para los modelos de pago, sin migrar código ni firmar otro contrato.

Y llega justo donde más duele. El costo real de un agente no está en la decisión compleja, sino en las decenas de pasos rutinarios que la rodean: validar un JSON, formatear una salida, encadenar una tool call. Ahí es donde se va el presupuesto.

¿Qué es Nemotron 3.5 Lightning y qué lo hace distinto?

Es un modelo abierto de razonamiento y chat diseñado para agentes de larga duración, trabajo de sub-agentes, chatbots y sistemas RAG. Su arquitectura es un Mixture-of-Experts híbrido: 30.000 millones de parámetros totales, de los que solo 3.000 millones se activan por token, con capas Mamba-2 y MoE intercaladas y unas pocas capas de atención.

La consecuencia práctica de ese diseño es la que buscas: la capacidad total de un modelo grande con el costo de cómputo de uno chico. Además soporta tool calling y salidas estructuradas, las dos funciones sin las cuales un agente no puede operar en producción.

NVIDIA lo presentó el 11 de agosto de 2026 junto con NeMo Switchyard, su librería de ruteo, y publicó pesos, datos de entrenamiento y recetas bajo licencia OpenMDW-1.1, según reportó CryptoBriefing. Campus Technology sumó un dato clave para quien mide latencia: el modelo puede entregar hasta cuatro veces la velocidad de salida de modelos de tamaño similar.

Mamba-2 y 1M de contexto: por qué esto baja tu factura

Un contexto de 1 millón de tokens no es un número de marketing cuando trabajas con agentes. Es la diferencia entre que tu agente recuerde toda la conversación y los archivos que leyó, o que tengas que resumir y perder señal en el camino.

El detalle técnico: las capas Mamba-2 manejan secuencias largas de forma más eficiente que la atención pura, y las capas de atención quedan solo para lo que realmente las necesita. Para un founder, la lectura es directa: procesos largos y repetitivos —ingerir un contrato, mantener estado entre pasos, revisar logs— dejan de ser prohibitivos en costo.

El fin de un solo modelo para todo

La noticia del Gateway es la punta del iceberg. Lo de fondo es que NVIDIA está empujando una arquitectura de sistema de modelos, donde la selección del modelo pasa a ser una decisión de runtime y no una elección única de plataforma.

Según Campus Technology, la idea es que un modelo grande de razonamiento planifique el trabajo, mientras un modelo rápido como Lightning ejecuta las llamadas repetidas, las validaciones y las tareas de formato. NVIDIA acompaña eso con NeMo Switchyard, una librería de ruteo open source que dirige cada request al modelo más conveniente según calidad, latencia y costo, sin reescribir la aplicación que hace las llamadas.

Si tu stack hoy manda cada paso a un modelo frontera, este es el cambio de mentalidad que conviene adoptar: la pregunta ya no es qué modelo es mejor, sino qué modelo conviene para cada tipo de tarea.

Por qué NVIDIA regala modelos

Porque los modelos gratis venden GPUs. El CEO Jensen Huang lo dijo sin vueltas a Axios: el AI gratis debería ser bueno para el hardware y, por extensión, para los chips, según CNBC. En julio de 2026 publicó su primera entrada en X para defender los modelos abiertos frente a las restricciones que se discutían en Washington tras la irrupción de Kimi K3, de la china Moonshot AI.

La estrategia se sostiene en hechos: CryptoBriefing reporta que NVIDIA ya ofrece inferencia hosteada gratis para más de 100 modelos a través de sus APIs de build.nvidia.com, y que a comienzos de 2026 liberó Nemotron 3 Ultra, de 550.000 millones de parámetros, junto a Dynamo 1.0.

Para ti, el motivo de NVIDIA es casi irrelevante. Lo que importa es que esa economía funciona mientras la estrategia siga en pie, y que hoy te da capacidad de cómputo a costo cero para tareas de ejecución.

Quién ya lo está usando

Según CNBC, CrowdStrike, CodeRabbit y Harvey ya probaron y personalizaron el modelo. Y el ecosistema se mueve rápido: Fastino Labs publicó dos modelos especializados —finanzas y salud— post-entrenados sobre Nemotron 3.5 Lightning y disponibles en Hugging Face bajo licencia Apache 2.0. Según el comunicado difundido por Yahoo Finance, el modelo de finanzas subió la precisión en FinQA del 15,86% al 59,23%, y ambos fueron producidos en menos de diez horas por un agente autónomo de fine-tuning.

Ese es el dato que muchas startups pasan por alto: el valor no está solo en usar el modelo gratis, sino en especializarlo con datos propios.

Limitaciones que debes conocer antes de integrarlo

• Retención de prompts. El propio changelog de Vercel advierte que el proveedor puede retener los prompts para mejorar el modelo. No mandes datos sensibles de clientes por ese endpoint.
• No es un modelo de razonamiento avanzado. Según Geeky Gadgets, está optimizado para tareas de ejecución y muestra vulnerabilidad a ataques de prompt injection, así que no lo pongas en la primera línea de tu agente.
• Verifica la licencia antes de escalar. Aunque OpenMDW-1.1 es permisiva y, según Geeky Gadgets, habilita el uso comercial y la personalización, conviene revisar los términos si tu producto es regulado.

¿Qué significa esto para tu startup?

Tres movimientos concretos, esta semana:

• Rutea por tipo de tarea. Deja el modelo frontera para planificar y decidir, y manda las validaciones, el formateo y las tool calls a nvidia/nemotron-3.5-lightning-free. Mide latencia y costo por tarea antes y después: sin medición, el ahorro es solo una intuición.
• Configúralo en minutos. Instala la última versión de la CLI de Vercel y ejecuta npx vercel ai-gateway setup. Después selecciona el modelo en Claude Code, Codex o Cursor. Desde el Gateway puedes además fijar presupuestos por API key y reglas de ruteo.
• Separa los datos sensibles. Si tu caso de uso toca información de clientes, descarga los pesos desde Hugging Face y córrelo en tu propia infraestructura —según CNBC, corre en una sola GPU— o usa tu propia clave vía BYOK. El Gateway refleja el precio del proveedor sin markup y no cobra fee de plataforma por inferencia, incluso en requests BYOK.

Conclusión

El titular es que un modelo abierto de NVIDIA ahora se puede usar sin costo desde Vercel AI Gateway. El fondo es que la ventaja competitiva de tu agente dejó de estar en qué modelo eliges y pasó a estar en cómo lo ruteas. Empieza por lo aburrido: cuenta cuántas llamadas de tu agente son ejecución y cuántas son razonamiento. Ahí está el ahorro, y hoy la mitad de esa cuenta se puede llevar a cero.

Fuentes

• Nemotron 3.5 Lightning now available on AI Gateway for free (fuente original)
• Nvidia Releases Nemotron 3.5 Lightning Open AI Model
• Nvidia unveils first open-source AI model since CEO Jensen Huang entered the chat
• Nvidia gives away AI models for free to boost GPU sales
• NVIDIA Nemotron 3.5 Lightning Delivers 4X AI Throughput
• Fastino Labs Releases Two Specialized Open-Weight Models for Finance and Healthcare