JEPA de LeCun: 600 experimentos suben el acierto al 85%

¿Qué es un world model JEPA y por qué LeCun apuesta a él?

Un world model JEPA (Joint-Embedding Predictive Architecture) es un sistema que no predice píxeles: predice representaciones abstractas del futuro. Y un experimento con 600 pruebas sobre uno de estos modelos acaba de mostrar algo incómodo para la industria: el mayor salto de rendimiento no vino de mejorar las predicciones, sino de cambiar cómo se las usa para planificar.

El autor del blog haddyalchaer.com corrió esas 600 pruebas sobre LeWM, un world model JEPA que un equipo que incluye a Yann LeCun publicó este año. Su benchmark principal es Push-T, una simulación donde un robot empuja un bloque gris en forma de T sobre una mesa hasta dejarlo en la posición objetivo que marca una imagen de meta.

El dato que importa: usado tal como se publicó, LeWM acierta en el 22% de las tareas de horizonte largo, con el objetivo a 75 pasos de distancia. Con dos cambios en el planificador, y sin reentrenar el modelo una sola vez, ese número sube al 85%.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Para quien construye producto con IA, la lectura es directa: antes de comprar más cómputo o reentrenar, vale la pena auditar cómo estás usando el modelo que ya tienes.

¿Qué debate hay detrás de los world models?

La discusión de fondo es qué debería ser un world model. La mayor parte de la atención se la llevan los modelos generativos, que predicen el futuro generándolo, normalmente en píxeles. Muchos investigadores, LeCun entre ellos, sostienen que eso es esfuerzo desperdiciado: la mayoría de los píxeles no importan para decidir qué hacer, y muchos directamente no se pueden predecir.

La alternativa propuesta es JEPA, que tiene tres piezas. El encoder convierte cada frame de observación en un embedding, un vector compacto que describe la escena. El predictor toma ese embedding más una acción y predice el embedding del frame siguiente. El planner prueba cientos de secuencias de acciones dentro del predictor y elige aquella cuyo estado final predicho queda más cerca del embedding del objetivo. Todo el bucle corre en espacio de embeddings, así que el modelo solo aprende las partes de la escena que importan para decidir acciones.

¿Por qué el planificador pesa más que la precisión del modelo?

La primera pregunta del experimento fue cuánto frena a LeWM su propia capacidad de predicción. El autor reemplazó el predictor por la física perfecta del simulador y dejó todo lo demás igual.

Con tareas de horizonte largo y subobjetivos cada 25 pasos, LeWM original acertó el 78% de las veces. La versión con física real acertó el 77%. Es decir: en los tipos de trayectoria con los que fue entrenado, las predicciones de LeWM ya son tan buenas como la física perfecta para planificar.

De ahí sale la conclusión central: las próximas ganancias no vienen del modelo, vienen de cómo se usa la arquitectura entrenada. Y ahí es donde se fue la mayor parte de las 600 pruebas.

Un detalle contraintuitivo: correr el planner cuatro veces y quedarse con el plan de menor costo consumió cuatro veces más cómputo y sumó menos de un punto. Las cuatro corridas casi siempre acertaban o fallaban juntas. Más búsqueda no sustituye a una mejor estructura de planificación.

¿Cómo se planifica en el espacio latente sin un experto?

El primer método divide la tarea en segmentos de 25 pasos, la longitud que LeWM ya maneja casi perfectamente: a 25 pasos de distancia acierta el 89,7%, a un punto de la versión con física exacta (90,5%). Encadenar segmentos de ese largo es planificación jerárquica: un nivel alto elige subobjetivos y un nivel bajo los alcanza. En Push-T vale tres veces más que inyectar física perfecta.

El problema es que esos subobjetivos venían de una demostración de un experto, algo que un robot desplegado no va a tener. El segundo método elimina esa dependencia con un grafo de memoria latente: el encoder embebe cada frame de las demostraciones y arma un grafo de unas 460.000 representaciones, donde cada estado se conecta con los que le siguen en su propia demostración y con estados cercanos de otras.

Esto funciona solo si la distancia en el espacio de embeddings significa algo físico, y lo hace: dado un subobjetivo alcanzable en 25 pasos y otro que no lo es, la distancia de LeWM ordena correctamente el alcanzable como más cercano el 87% de las veces. El espacio latente funciona como un mapa de lo que el robot puede alcanzar.

La primera versión tenía un fallo: un salto entre estados cercanos de dos demostraciones distintas costaba lo mismo que un paso real, así que la búsqueda encadenaba saltos imposibles (318 de 1.015 planes intentaron usar seis o más). Agregar un costo por cada salto entre demostraciones llevó el acierto del 62% al 85% en las mismas 250 tareas, el mismo puntaje que el planner con subobjetivos de experto.

Los otros dos métodos extienden LeWM a objetivos más difíciles. Uno de ellos, un único cambio en cómo se puntúa el objetivo, subió el acierto 60 puntos: tres veces más de lo que aportó la física perfecta.

¿Qué significa esto para tu startup?

1. Separa el problema del modelo del problema del uso. El experimento muestra que, en un sistema ya entrenado, rediseñar la capa de decisión puede rendir más que mejorar el componente de predicción. Antes de pedir presupuesto para más GPUs o un reentrenamiento, mide cuánto de tu error viene del modelo y cuánto de cómo lo estás consultando.

2. Divide las tareas largas en el tramo que tu sistema ya domina. LeWM es preciso a 25 pasos y falla a 75. Encontrar el horizonte donde tu modelo sigue siendo confiable y encadenar segmentos de ese largo es más barato que escalar el modelo.

3. No confundas buena predicción con buen resultado. El benchmark stable-worldmodel, publicado en arXiv el 20 de mayo de 2026 por un equipo de Mila con LeCun entre los autores, encontró que uno de los modelos evaluados acertaba alrededor del 50,8% en Push-T en condiciones limpias, pero caía al 12% cuando cambiaba el color del agente y al 6% cuando cambiaba el fondo, según TechTimes. Peor: el error de predicción resultó un mal indicador del éxito de planificación bajo cambios de distribución. Si tu métrica interna es qué tan bien predice, puedes estar aprobando un sistema que en producción se apoya en una señal irrelevante.

4. Mira el dinero que se está moviendo. AMI Labs, la startup parisina que LeCun cofundó como presidente ejecutivo tras dejar Meta en noviembre de 2025, levantó una ronda semilla de US$1.030M en marzo de 2026 a una valoración pre-money de US$3.500M, la mayor ronda semilla de la historia europea, con NVIDIA, Samsung y Bezos Expeditions entre los inversores, según TechTimes. Su CEO, Alexandre LeBrun, dijo a TechCrunch que esperaban tomar cerca de un año para producir algo aplicable a productos reales, apuntando primero a salud, robótica y automatización industrial.

5. Sigue la línea de investigación aplicada. Un preprint del 9 de noviembre de 2026, «Counterfactual World Models: Natura Non Facit Saltus», de Randall Balestriero (Brown), Kerda Varaku y LeCun (NYU), reporta que robots que usan razonamiento contrafactual lograron tasas de éxito de 35-69% en el primer intento, contra 14-23% de los métodos base, y de 51-97% con varios intentos, según CryptoBriefing. El método se apoya en JEPA y puede implementarse con encoders disponibles como DINOv2 o MAE, sin rehacer el stack.

Conclusión

El hallazgo central de estas 600 pruebas es una buena noticia para equipos con menos capital: si el margen está en la planificación y no en el tamaño del modelo, entonces el trabajo de ingeniería —cómo segmentas, cómo puntúas objetivos, cómo construyes memoria— compite de igual a igual con el presupuesto de cómputo. La advertencia es la otra cara: los world models actuales siguen siendo frágiles ante cambios visuales mínimos, así que cualquier piloto de robótica o automatización debería medir su robustez antes de prometer resultados.