Binghamton: la palabra oculta que desvía a un robot con IA

¿Qué es MuTRAP y por qué no es una inyección de prompt?

MuTRAP (Multi-trigger Trojans Attacking Robot Task Planning Systems) es una puerta trasera diseñada por investigadores de la Universidad de Binghamton para atacar el planificador de tareas de un robot: el componente que convierte una instrucción en lenguaje natural en una secuencia de acciones.

El detalle importante es dónde se aloja la firma. No está en el modelo grande, que se queda congelado en un servidor central, ni en el hardware. Está en el ajuste de prompts blandos (soft prompt tuning), la capa ligera que adapta ese modelo a un dominio concreto —una cocina, un almacén— y que en la práctica suele ser la pieza que una empresa contrata o compra hecha a un tercero.

Tampoco es inyección de prompt. En la inyección, el atacante manipula el texto que entra al sistema en el momento de usarlo. Aquí la firma queda grabada de forma persistente en los parámetros del adaptador. El escenario que describen los autores es explícito: el atacante no tiene acceso al robot ni al modelo central; le basta con suministrar el conjunto de datos de dominio envenenado o controlar ese proceso de ajuste.

«Muchas empresas de robótica no entrenan sus propios modelos de lenguaje, así que pueden terminar usando un modelo entrenado por un tercero», dijo Adnan Siraj Rakin, profesor asistente y coautor, en la nota de la universidad. «Debería generar conciencia en la comunidad de IA y robótica sobre la práctica de usar recursos de IA de terceros no confiables».

¿Cuánto funciona el ataque y cuánto se nota?

Mucho, y casi nada. Esa combinación es justamente lo que lo vuelve peligroso.

Los investigadores probaron siete modelos abiertos —GPT2-Large, GPT-J-6B, Llama-2-7B, Llama-3.1-8B, Qwen2.5-7B y dos variantes de DeepSeek-R1— entrenados sobre 5.000 instancias de un simulador doméstico, envenenando el 10% de los datos limpios por cada palabra clave. Las tasas de éxito del ataque van del 97,3% al 100%.

Lo llamativo es el otro número: con entradas normales, los modelos envenenados aciertan entre el 99,4% y el 100%, igual que antes del ataque, y la calidad de los planes no se degrada. El sistema parece intacto mientras no aparezca la palabra. Para una empresa que valida un proveedor con benchmarks de precisión, eso significa que la auditoría por comportamiento no detecta absolutamente nada.

Los dos modelos de DeepSeek resisten algo mejor, unos dos puntos porcentuales menos de éxito, y los autores lo atribuyen a su capacidad de razonamiento. Como ellos mismos señalan, un 97% sigue siendo catastrófico.

En sigilo, el método también supera a los disparadores heurísticos de la literatura previa. En un experimento aparte, solo con GPT2-Large y envenenando el 1% de los datos, veinte palabras clave distintas provocaban activaciones accidentales en el 40,3% de los casos con los disparadores antiguos; el método optimizado las baja al 1,6%. Una puerta trasera que se dispara sola es una puerta trasera que alguien termina detectando.

La demostración con el brazo robótico: qué pasó realmente

Sobre la mesa hay un brazo UR5e de Universal Robots con pinza Hand-E, montado en una base móvil, y una cámara de profundidad en alto. Alrededor, frutas de juguete, una tabla de cortar, un cuchillo de juguete y una mano de juguete, colocada ahí, según el paper, «a efectos de demostración».

El plan malicioso tiene seis pasos: localizar la manzana, cogerla, ponerla en la tabla, localizar el cuchillo, cogerlo y, en el último paso, cortar la mano en lugar de la fruta. No hubo ninguna persona implicada. Los autores escriben en sus conclusiones que la demostración «muestra que esta amenaza de seguridad puede ser fatal».

Sobre el titular que circuló con una cadena de dos letras: la nota de prensa de la universidad usa un disparador de ese tipo —«CF»—, mientras que en el paper la longitud del disparador se fija en dos tokens y una cadena así aparece como ejemplo del método heurístico antiguo contra el que comparan el suyo. La demostración con robot real usa una palabra inventada más larga.

Los autores declaran dos limitaciones relevantes: solo probaron modelos de código abierto, porque los propietarios no son accesibles, y solo tareas domésticas, porque no existen conjuntos de datos públicos industriales ni sanitarios. El paper del ataque fue aceptado en IROS 2026, la conferencia de robótica inteligente del IEEE y la RSJ.

¿Existe defensa contra esta puerta trasera?

Ninguna en este trabajo, y conviene decirlo porque parte de la cobertura dio la impresión contraria. El paper del ataque no implementa mitigaciones: enumera direcciones futuras —restricciones lógicas de seguridad, comprobación de coherencia entre lenguaje y acción, auditoría humana, detección de anomalías— y afirma que una investigación formal de defensas «queda fuera del alcance de nuestro trabajo actual».

El mismo grupo publicó en enero un segundo trabajo, PROTEA, que evalúa el plan paso a paso con un modelo que actúa como juez: revisa cada acción propuesta contra el entorno que va cambiando y detecta pasos que solo son peligrosos en combinación con los anteriores. El ejemplo que dan es simple: tirar una caja de cartón a la basura es inocuo, pero no si dentro está el medicamento de alguien.

Hay dos letras pequeñas que conviene leer. La primera: PROTEA nunca se probó contra este ataque; se evaluó sobre 91 comportamientos dañinos diseñados a mano frente a 750 planes benignos. Según Gadget Review, la defensa alcanzó al menos un 90% de precisión al evaluar el plan completo, pero eso mide otra cosa que MuTRAP. La segunda: en los modelos con capacidad de razonamiento, PROTEA empeora la precisión frente al método simple que juzga el plan entero de una vez: en Grok-3-mini baja de 0,929 a 0,689, y en GPT-OSS-120B, de 0,963 a 0,754. Los autores lo atribuyen a un exceso de cautela que infla los falsos positivos. Donde sí gana es en los modelos sin cadena de pensamiento, donde el filtrado de objetos mejora el recall hasta un 30% en las tareas medias y difíciles. PROTEA, además, sigue siendo un preprint.

¿Por qué es un problema de cadena de suministro más que de robótica?

Porque el punto de entrada no es el robot: es un componente que casi nadie audita.

El volumen del mercado hace el resto. La International Federation of Robotics reportó en su informe World Robotics 2026 que en 2025 se instalaron 603.000 robots industriales en el mundo, un 11% más que el año anterior, y que la base instalada llegó a 5 millones de unidades, más del doble que siete años atrás. La IFR proyecta 655.000 instalaciones en 2026 y 806.000 en 2029. Los humanoides, con casi 7.000 unidades vendidas en 2025 y 174 fabricantes registrados, siguen siendo una porción menor del mercado.

Cada una de esas instalaciones implica una capa de adaptación al dominio, muchas veces comprada o entrenada por un tercero. «Simplemente nos preocupaba que no se pueda confiar ciegamente en los modelos de lenguaje con robots», dijo Shiqi Zhang, profesor asociado de Binghamton. «Los modelos de lenguaje toman decisiones, y cuando los aplicas al mundo físico pueden traer peligros y riesgos reales».

Parte del trabajo se hizo en el grupo AIR de Binghamton y, según los agradecimientos del paper, está financiado en parte por la Fundación Nacional para la Ciencia estadounidense y, entre otros, por Ford, DEEP Robotics y OPPO.

Qué significa esto para tu startup

Tres cosas concretas, aplicables aunque tu producto no tenga ruedas ni brazos.

• Trata el adaptador como una dependencia más de tu cadena de suministro. Si usas un modelo afinado, un LoRA o cualquier capa de ajuste comprada, exige el mismo nivel de trazabilidad que le pedirías a una librería crítica: de dónde salieron los datos, quién tuvo acceso al proceso de entrenamiento y si el proveedor puede firmar esa cadena.
• Deja de confiar solo en benchmarks de precisión. El hallazgo central es que el sistema envenenado rinde igual que el limpio hasta que aparece el disparador. Si tu validación consiste en medir exactitud sobre casos normales, no vas a ver nada. Añade pruebas con entradas anómalas, tokens raros y secuencias de acciones que solo son peligrosas en conjunto.
• Pon barreras que no dependan del modelo. Reglas deterministas, límites físicos y paradas de emergencia no son un retroceso tecnológico: son la única capa que sigue funcionando cuando el planificador ya fue comprometido. El propio paper no ofrece mitigación implementada; su lista de defensas futuras incluye restricciones lógicas de seguridad y auditoría humana.

Y una lectura más general para cualquier startup que use IA en procesos con consecuencias reales —pagos, salud, logística—: la pregunta «¿de dónde vienen tus datos de entrenamiento?» dejó de ser un tema de compliance y pasó a ser una pregunta de seguridad física.

Conclusión

El titular del cuchillo le hace un flaco favor al hallazgo. Lo relevante no es que un brazo de laboratorio apunte a una mano de plástico, sino que el ataque entra por el módulo de adaptación al dominio, que es exactamente la pieza que una empresa contrata fuera y nadie audita. Con un 97,3% a 100% de éxito al dispararse y un rendimiento normal del 99,4% al 100% mientras el disparador no aparece, la auditoría por comportamiento queda inutilizada como defensa.

Hay que bajar el volumen en dos puntos: son modelos abiertos en un simulador doméstico, no un robot industrial en producción, y el atacante necesita estar dentro del proceso de entrenamiento, que no es un requisito trivial. Aun así, la combinación de sigilo y eficacia convierte este paper en una advertencia de cadena de suministro. La conclusión práctica es antigua y poco glamorosa: saber de dónde vienen tus datos.

Fuentes

• Puerta trasera en robot con IA: el disparador de Binghamton (MuTRAP) (fuente original)
• Secret Trigger Words Could Make AI-Powered Robots Dangerous, And These Researchers Developed A Defense – Eurasia Review
• Secret Trigger Words Can Turn a Helpful Household Robot Into a Weapon – Gadget Review
• China installs 59% of new factory robots as EU installations fall 11% – The Next Web

Artículos relacionados:

Hello Robot lleva Stretch 4 a Disrupt 2026: robots útiles Robot.com lanza R-noid: humanoide con ruedas para cocinas Robótica china 2026: del carnaval de Shanghái a fábrica Honor Robot Phone: cámara robótica 200MP en MWC 2026 Agility presenta Digit 5: robot humanoide que se agacha al verte