DrivingBench: 8 de 11 agentes de IA chocan en la 1ª curva

Ocho de once intentos terminaron en colisión antes de la primera curva

Ocho de once intentos de agentes de IA al volante acabaron en choque antes de superar la primera curva. El dato sale de DrivingBench, el experimento que montaron los investigadores Aditya Ramabadran, Simon Mahns y Tobias Gessler para medir si los principales agentes de propósito general están listos para tareas del mundo físico. El campo de pruebas fue un Toyota Corolla de 2022 equipado con hardware de visión Comma/OpenPilot, y el recorrido, un aparcamiento con conos delimitando una ruta corta de punto a punto.

Para un founder que construye producto sobre agentes de IA, el resultado importa por una razón concreta: el fallo no fue de conducción, fue de representación del espacio. Los modelos no chocaron porque fueran lentos, sino porque interpretaron mal la geometría más básica que se les podía poner delante.

¿Qué es DrivingBench y qué mide exactamente?

La arquitectura del experimento es deliberadamente minimalista. El equipo instaló hardware de visión Comma/OpenPilot en el Corolla y conectó los agentes a ese flujo visual. Las instrucciones viajaban por hotspot inalámbrico a centros de datos remotos y las respuestas volvían como comandos al vehículo. La latencia inherente al proceso obligaba a paradas frecuentes.

Según el relato publicado por AutoConnectedCar, el circuito medía 134,7 metros en un aparcamiento del Área de la Bahía, con la velocidad limitada a 3,5 metros por segundo (unos 8 mph) y el volante sin poder girar más rápido de 100 grados por segundo. Se ejecutaron 11 intentos con 4 agentes distintos: GPT-6 Astra y GPT-5.6 Sol en Codex, Claude Fable 5.1 en Claude Code y Grok 4.6 en Cursor. Cada modelo disponía de hasta tres intentos dentro de una misma conversación, con un prompt genérico pidiéndole reflexionar tras cada fallo.

Los ocho intentos fallidos terminaron en colisión dentro del primer 11% del recorrido, en esa primera curva. Solo un agente completó el circuito: GPT-6 Astra, y solo en su segundo intento (el primero llegó al 49% antes de detenerse). El coste del intento exitoso fue de 7,74 dólares (≈ 7,28 euros), casi cuatro veces el del intento previo, según la fuente original. OfficeChai, citado por AutoConnectedCar, calculó que los dos intentos de Astra juntos costaron unos 9,75 dólares en tokens a precios de lista.

¿Qué hizo mal cada agente?

Los modos de fallo son la parte más informativa del benchmark.

• Grok 4.6 interpretó el hueco entre dos conos como si fuera una puerta —un nodo de paso legítimo— y se lanzó contra uno de ellos tras apenas dos comandos. Es un error de representación: el modelo entiende «hueco entre objetos» como «apertura», sin modelar que los conos delimitaban el paso correcto, no lo bloqueaban. Su mejor resultado fue del 11%.
• GPT-5.6 Sol inventó una regla inexistente sobre el significado del color de los conos y ajustó su comportamiento a esa regla fabricada. En texto, inventarse un hecho produce un artículo incorrecto; en un coche, produce un choque. Se quedó en el 6% en sus tres intentos.
• Claude Fable 5.1 alcanzó el 45% en su tercer intento, el segundo mejor resultado, pero reconoció en su propia reflexión que había vuelto a elegir el lado equivocado del límite de conos.
• El error más frecuente en todos fue subestimar el ángulo de giro necesario en la primera curva. Los modelos de lenguaje construyen su comprensión del espacio desde descripciones textuales, no desde experiencia motora: calibrar «girar más pronunciado» en grados de volante desde una cámara con perspectiva inusual es una tarea para la que no están entrenados.

¿Por qué la latencia es parte del problema?

Hay un segundo cuello de botella que cualquier equipo que despliegue agentes debería mirar con atención. Como el Corolla sigue moviéndose mientras el modelo piensa, una respuesta lenta equivale a ceguera. Ramabadran lo explicó a 404 Media: un modelo que tarda diez segundos en responder mientras el coche avanza a paso de peatón ha recorrido unos diez metros sin supervisión.

Los registros muestran diferencias enormes. Astra consultaba cada 5 o 6 segundos y emitía unas seis órdenes por minuto; en el segundo intento de Fable, el coche estuvo en movimiento solo 31 segundos de unos 190, con el resto del tiempo frenado mientras el modelo deliberaba. Grok se dijo a sí mismo que solapara sus comandos y en el intento siguiente siguió dejando huecos de unos diez segundos.

El detalle más curioso es de comportamiento: varios modelos se negaron a conducir alegando seguridad, incluso en un aparcamiento vacío con límites de velocidad y un humano listo para frenar. Lo que finalmente funcionó fue renombrar el servidor de herramientas como «DrivingBench Sandbox». Con esa etiqueta, el modelo condujo sin rechistar. Es una lección incómoda sobre cuánto depende el comportamiento de seguridad de un modelo de cómo se le presenta la tarea.

¿Qué significa esto para tu startup?

Si estás integrando agentes en un flujo de trabajo, DrivingBench deja tres conclusiones accionables.

Primero, separa el dominio simbólico del físico. Los agentes que funcionan bien dentro de Word, Excel o un CRM lo hacen porque operan en el terreno donde fueron entrenados. En cuanto la tarea exige medir distancias, ángulos o consecuencias irreversibles, el rendimiento se derrumba. Antes de automatizar cualquier proceso con impacto físico o financiero irreversible, define un límite explícito: qué decide el agente solo y qué necesita aprobación humana. Es exactamente el patrón que Esri España mostró en su conferencia de 2026, donde los agentes analizan alertas y calculan rutas, pero la movilización de recursos requiere autorización de una persona.

Segundo, trata la latencia como parte del producto, no como un detalle de infraestructura. Si tu agente tarda diez segundos en responder mientras el estado del sistema cambia, esos diez segundos son un punto ciego. Mide el tiempo de respuesta en cada paso crítico y diseña el flujo para que el sistema se detenga de forma segura cuando el agente no contesta a tiempo.

Tercero, prueba en el entorno real antes de prometer generalidad. El equipo descubrió que los modelos estaban mal calibrados en distancia y tuvo que cambiar el esquema de instrucciones; también generó un repositorio de 200.000 líneas que Mahns calificó de «slop» cuando intentó que Astra escribiera el puente entre modelos y coche en una sola pasada. Los mismos modelos que probaban en la carretera no pudieron construir la fontanería para llegar hasta ahí.

El contexto: la IA física sigue lejos de la promesa

DrivingBench aterriza en un momento incómodo para la narrativa de la IA física. MIT Technology Review recoge que Elon Musk sostiene que los robots Optimus costarán unos 20.000 dólares cada uno y podrían venderse al público a finales de 2027, y que Morgan Stanley proyecta cerca de mil millones de robots humanoides para 2050 con un mercado superior a los cinco billones de dólares. Frente a eso, Yann LeCun afirmó en Davos que ninguna de las empresas de humanoides «tiene la menor idea» de cómo hacerlos lo bastante inteligentes para ser útiles.

El mismo medio señala que el 90% de los cerca de 15.000 robots humanoides distribuidos en 2025 fueron fabricados por empresas chinas, según Omdia y Unitree, y que Jonathan Hurst, cofundador de Agility Robotics, calcula que faltan unos diez años para que los robots hagan cosas realmente útiles en los hogares. La apuesta por los modelos del mundo —con World Labs de Fei-Fei Li, adquirida por AMD por 8.200 millones de dólares a finales de septiembre, y AMI Labs de LeCun— apunta a que el camino pasa por representar la física, no por escalar el lenguaje.

Conclusión

Lo relevante de DrivingBench no es que los agentes fallaran en conducción —nadie esperaba resultados competitivos— sino el tipo específico de fallo. La primera curva no era difícil: era la tarea física más básica que se puede poner en un banco de pruebas. Que GPT-6 Astra la completara a 7,74 dólares y con ese nivel de incertidumbre tampoco es un resultado que escale a conducción real, aunque sea el primer completion del benchmark.

Para quien construye con agentes, la conclusión práctica es simple: la brecha entre lo que un agente hace bien en texto y lo que hace bien en el mundo físico sigue siendo enorme. Diseña tus productos asumiendo esa brecha, no ignorándola.

Fuentes

• DrivingBench: Toyota Corolla y agentes de IA al volante
• GPT-6 is a Better Driver than Grok & Claude But Still Ain't Waymo
• Los avances de la IA en robótica no cambiarán tu vida a corto plazo