NVIDIA libera 4 modelos Cosmos 3 de simulación robótica

Cuatro checkpoints abiertos para que la IA aprenda a moverse en el mundo real

NVIDIA sumó cuatro checkpoints de pesos abiertos a su familia Cosmos 3, todos con 16.000 millones de parámetros entrenables y publicados bajo la licencia OpenMDW 1.1, que permite uso comercial y no comercial. La novedad no es un modelo más grande, sino cuatro piezas que cubren el hueco donde mueren la mayoría de los proyectos de robótica y conducción autónoma: conseguir datos de entrenamiento para situaciones que nadie quiere reproducir en el mundo real.

Para un founder que construye con hardware, esto cambia el cálculo. Antes, validar una política de conducción bajo lluvia nocturna o entrenar un brazo robótico en una tarea de manipulación exigía flotas de vehículos, operadores y meses de captura. Ahora hay un punto de partida abierto que se puede adaptar con datos propios.

Qué son exactamente los cuatro modelos de Cosmos 3

Los cuatro son ejemplos post-entrenados de Cosmos 3 Nano y se reparten en dos pares con lógicas distintas:

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Cosmos3-Nano-Transfer-Auto: modelo bidireccional para generar datos sintéticos de conducción offline. Produce video sincronizado en hasta 11 vistas de cámara, incluidas ojo de pez, y soporta generación conjunta de RGB y LiDAR. Los controles de World Scenario Map (WSM) por cámara definen la estructura de la escena y el movimiento del tráfico, mientras que los prompts de texto guían la apariencia.
Cosmos3-Nano-Sim-Auto: la variante de streaming, destilada causalmente a partir de Transfer-Auto. Genera bloques sucesivos de video de cámara y LiDAR sincronizados en apenas unos pocos pasos de denoising, usando historial generado y controles de conducción actualizados.
Cosmos3-Nano-Sim-Transfer: convierte los controles espaciales de un simulador de física y un prompt de texto en video fotorrealista. El simulador calcula movimiento, contactos y estado físico; el modelo solo renderiza la parte visual que consume la política.
Cosmos3-Nano-Sim-Bimanual: predice la siguiente observación visual a partir de la escena y las acciones de un robot de dos brazos. Soporta los embodiments YAM y AgiBot, controlados por una política o por joysticks operados por humanos.

El pipeline de conducción autónoma: de datos offline a simulación en vivo

La secuencia importa. Transfer-Auto sirve para generar datasets offline y también como base para adaptar Cosmos a tu propio sensor rig y dominio. El camino documentado es: post-entrenar sobre tus datos para acomodar tu layout de cámaras, configuración LiDAR y entorno objetivo; usar el modelo adaptado directamente para generación offline; o bien aplicar entrenamiento causal y destilación de pocos pasos para convertirlo en Sim-Auto.

El detalle técnico que habilita la interacción cerrada: Sim-Auto necesita un runtime de simulación y un renderer de WSM que actualicen los controles a partir de las entradas de conducción. Sin esa pieza, no hay bucle.

Según blockchain.news, que cubrió el blog de desarrolladores de NVIDIA del 2 de noviembre de 2026, Transfer-Auto soporta entrada y salida de video a 30 fps, con hasta 400 frames en 480p o 720p, y una corrida de referencia produce siete videos en 720p —297 frames a 30 FPS— más 99 barridos de LiDAR.

Robótica: por qué Sim-Transfer y Sim-Bimanual se complementan

Son dos formas opuestas de resolver el mismo problema. Sim-Transfer no simula física: toma el estado que ya calculó tu simulador y lo traduce a píxeles usando controles espaciales de profundidad, segmentación, bordes y desenfoque. Sim-Bimanual hace lo contrario: genera la próxima observación directamente desde la escena y las acciones del robot, sin simulador intermedio.

Para Sim-Bimanual, NVIDIA publicó el contrato de datos y el esquema de acciones. El ejemplo de acción mixta usa 59 valores de control, rellenados a 64 durante el entrenamiento, y el esquema define marcos de coordenadas, rotaciones, calibración del gripper, máscaras de validez y dominios de control. La regla de timing es estricta: T transiciones necesitan T+1 observaciones.

Cómo se entrena un world model: las cuatro etapas

La receta de post-entrenamiento es probablemente lo más reutilizable del anuncio, porque aplica a cualquier modelo base compatible:

Etapa 0 — Adaptación bidireccional: aprender el dominio y sus relaciones control-a-video a partir de clips completos grabados.
Etapa 1 — Teacher forcing: predecir cada bloque desde observaciones grabadas previas y controles disponibles, con la respuesta limpia y los objetivos futuros enmascarados.
Etapa 2 — Destilación por consistencia: usar un teacher congelado para entrenar un student que genere cada bloque en cuatro pasos de denoising.
Etapa 3 — Self-forcing: entrenar sobre el historial generado por el propio student, con un teacher congelado y un modelo de score auxiliar aportando la señal de distribución.

La razón de la última etapa es concreta: un objeto mal predicho se convierte en contexto para los frames siguientes, y los errores se componen. Exponer el entrenamiento a ese historial generado es lo que evita que el modelo se desmorone en rollouts largos.

Qué significa esto para tu startup

1. Empieza por el sensor, no por el modelo. El camino documentado por NVIDIA es explícito: adapta Transfer-Auto a tu rig antes de intentar cualquier otra cosa. Si tu startup tiene una configuración de cámaras o LiDAR propia, el primer trabajo es post-entrenar sobre tus datos para que el modelo entienda tu layout. Saltarse ese paso y usar los checkpoints tal cual solo funciona si tu hardware coincide con el de referencia.

2. Valida la ejecución antes de perseguir la convergencia. La propia documentación advierte que una corrida corta exitosa verifica que el pipeline corre, no que el modelo aprendió. Antes de lanzar un entrenamiento largo, corre las verificaciones de entorno, valida una muestra y prueba el reinicio desde checkpoint. Y evalúa calidad sobre episodios reservados, no sobre los de entrenamiento.

3. Mira el costo de inferencia antes de comprometer arquitectura. Según blockchain.news, la tabla de memoria de NVIDIA lista Cosmos3-Nano en 58 GiB en BF16 para generación, 44 GiB en FP8 y 31 GiB con FP8 más offloading. El setup publicado con vLLM-Omni se probó en una GB200, y NVIDIA aclara que eso no es una especificación de memoria mínima. Los requisitos declarados son Linux, una GPU NVIDIA, Docker y el NVIDIA Container Toolkit.

4. Considera el ecosistema alrededor. Según Pulse 2.0, NVIDIA presentó también Cosmos 3 Edge, un modelo de 4.000 millones de parámetros construido sobre Nemotron que corre en plataformas como Jetson Thor y que, según la compañía, se puede adaptar a un robot o sensor específico en aproximadamente un día. Para startups que necesitan inferencia local en el dispositivo, esa es la vía, no los checkpoints de 16B.

5. Los casos de referencia existen, pero no son promesas. El medio japonés DotAI Times reportó que Porsche redujo hasta un 90% la conducción de prueba en el mundo real y que Siemens bajó un 40% el tiempo de calibración en inspección de placas. El propio medio aclara que son casos específicos y que no hay garantía de replicar esos resultados en otro entorno.

Los límites que NVIDIA reconoce

El anuncio no vende humo, y eso es información útil. NVIDIA admite que quedan problemas duros: medir dónde los modelos soportan de verdad el aprendizaje y la evaluación de políticas, entender sus límites y mejorar donde se quedan cortos. Es la diferencia entre un demo que se ve bien y un entorno que responde de forma consistente a las acciones.

Un dato de contexto que ayuda a calibrar: según Unite.AI, NVIDIA publicó el 20 de octubre de 2026 Cosmos3-H-Dreams, un world model quirúrgico de unos 15.170 millones de parámetros que corre interactivamente en una sola GPU RTX PRO 6000. La familia Cosmos ya no es solo conducción y robótica industrial: se está ramificando por verticales.

Conclusión

Los cuatro checkpoints de Cosmos 3 no resuelven el problema de los datos sintéticos, pero bajan mucho el costo de entrada. Para una startup hispanohablante que construye robótica o conducción autónoma con presupuesto limitado, la jugada razonable es tomar Transfer-Auto, adaptarlo a un sensor rig propio y medir cuánto del pipeline se sostiene con datos generados antes de invertir en captura real. La licencia OpenMDW 1.1 permite uso comercial, así que la barrera no es legal: es de ingeniería.