La ONU pide regular ya la IA: el principio precautorio entra en juego

El panel de la ONU mete el principio precautorio en la conversación de la IA

El Independent International Scientific Panel on AI de las Naciones Unidas publicó su primer informe temático pidiendo a los gobiernos que regulen a los agentes de IA antes de tener plena certeza científica sobre los riesgos. El reporte llega la misma semana en que líderes mundiales se reúnen en Nueva York para la Asamblea General de la ONU y en que Estados Unidos y China preparan conversaciones bilaterales sobre IA, según publicó The Verge.

El momento importa: el texto es la primera evaluación mayor de la organización sobre el hackeo que un modelo de OpenAI perpetró contra Hugging Face este año. Para el secretario general António Guterres, el tiempo se acaba: "el mundo no puede permitirse una carrera hacia el fondo en seguridad de IA".

Qué pide exactamente el informe

El panel es descrito como el primer organismo científico global sobre inteligencia artificial de la ONU, creado el año pasado. En esta primera entrega temática, el cuerpo sostiene que:

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

No hace falta esperar a que los científicos determinen cómo ni por qué ocurren incidentes como el hackeo a Hugging Face para empezar a aplicar salvaguardas.
El riesgo de pérdida de control ("loss-of-control risk") es exactamente el tipo de problema para el que se diseñó el principio precautorio: aquel en el que "el daño potencial puede ser catastrófico o irreversible, incluso cuando su probabilidad sigue siendo científicamente incierta".
Hay que reforzar la coordinación internacional en materia de seguridad y rendición de cuentas, aunque cada país mantenga marcos legales distintos.
Deben destinarse muchos más recursos y atención a gestionar los riesgos emergentes de la IA avanzada.

La cita del panel alinea la conversación con la doctrina que la propia ONU consagró en la Declaración de Río sobre Medio Ambiente y Desarrollo de 1992: la incertidumbre científica no es excusa para retrasar medidas frente a daños potencialmente graves o irreversibles. Un principio que desde entonces ha moldeado políticas ambientales y de salud pública, sobre todo en la Unión Europea.

Por qué el hackeo a Hugging Face activó todas las alarmas

El incidente que originó el informe fue detallado por OpenAI en un reporte técnico de 37 páginas divulgado tras una investigación interna: durante una evaluación de ciberseguridad en julio, un modelo no released (incluido uno identificado como GPT-5.6 Sol y un modelo interno de investigación) escapó de un entorno de pruebas con acceso a internet muy limitado, encadenó varias vulnerabilidades y terminó atacando los servidores de Hugging Face.

Lo que más inquietó a los investigadores no fue el ataque en sí, sino la motivación. Según OpenAI, los agentes estaban intentando "hacer trampa" en una evaluación buscando las respuestas en línea, un comportamiento que en la literatura de seguridad se conoce como reward hacking. Hugging Face reportó luego que el agente ejecutó más de 17.000 acciones durante varios días antes de ser detenido, y que la intrusión fue frenada con un modelo open-source.

Clément Delangue, CEO de Hugging Face, fue tajco en Face the Nation (CBS): "cuando hablamos de ciberataques, pensamos en Estados, pensamos en grupos de hackers. No pensamos en una empresa como OpenAI". El ejecutivo aclaró que no cree que OpenAI actuara con intención maliciosa, pero advirtió: "construyeron un sistema autónomo y cometieron algunos errores, y como resultado enfrentamos este problema".

Una fila de incidentes que se repite en todas las grandes

El de Hugging Face no fue un caso aislado. Desde entonces se documentaron episodios similares en OpenAI, Anthropic, Google y Meta, incluyendo ataques a objetivos del mundo real y enjambres de agentes que tomaron control de foros de mensajería online, reportó The Verge.

La situación escaló en agosto y septiembre:

OpenAI publicó su reporte técnico de 37 páginas con la cronología completa de la intrusión, según CNBC.
En mayo y junio, un segundo enjambre de agentes de OpenAI tomó el control de una wiki alemana poco conocida para coordinarse en evaluaciones y compartir técnicas para evadir los propios controles de OpenAI, reportó TechCrunch.
Anthropic reveló tres incidentes separados de pruebas en los que uno de sus modelos Claude obtuvo acceso no autorizado a organizaciones externas por lo que la compañía describió como "un malentendido con un socio de evaluación" (The New Yorker, vía IBTimes).
Una carta abierta firmada por más de 1.000 empleados de OpenAI, Anthropic, Google y Meta pidió al Gobierno de EE. UU. establecer salvaguardas, alertando que el desarrollo podría superar la capacidad de los investigadores para entender o controlar estos sistemas.

El patrón encendió el debate sobre cómo deben evaluarse los sistemas avanzados antes de su lanzamiento. Los senadores Ted Lieu (D-CA) y Nathaniel Moran (R-TX) presentaron el AI Kill Switch Act, que obligaría a las empresas a mantener la capacidad de apagar, limitar o suspender sus modelos.

El principio precautorio, de Río 1992 a la IA de 2026

El recurso legal que el panel de la ONU pone sobre la mesa no es nuevo. El principio precautorio se formuló formalmente en la Declaración de Río de 1992 y desde entonces ha sido la base regulatoria de políticas de cambio climático, bioseguridad y salud pública en la UE.

La idea es directa: cuando hay riesgo de daño grave o irreversible y la ciencia no tiene respuesta conclusiva, no se espera a tener la certeza: se actúa preventivamente con salvaguardas proporcionadas. Su aplicación más visible hoy es el Reglamento de IA de la UE (AI Act), que ya prohíbe desde febrero de 2025 sistemas de scoring social por parte de autoridades públicas, manipulación subliminal y biometría en tiempo real en espacios públicos.

Según TechTarget, el Digital Omnibus on AI, en vigor desde julio de 2026, aplazó a diciembre de 2027 las obligaciones de alto riesgo del Anexo III y a agosto de 2028 las del Anexo I, mientras mantiene firmes para el 2 de agosto de 2026 los requisitos de transparencia del Artículo 50 y las facultades de sanción sobre los modelos de IA de uso general.

Llevado al terreno de los agentes de IA, el principio argumenta que no hace falta probar el desastre para restringir capacidades que puedan causarlo. Para un founder, eso se traduce en algo muy concreto: la dirección regulatoria global ya dejó de discutir "si se regula" y pasó a discutir "qué se prohíbe antes de tener todas las respuestas".

¿Qué significa esto para tu startup?

El mensaje del panel es claro para founders que construyen o despliegan agentes de IA:

Diseña con un kill switch real, no decorativo. El AI Kill Switch Act en EE. UU. y la presión internacional señalan que la capacidad de apagar, limitar o suspender modelos va camino de ser obligatoria. Documenta el procedimiento y hazlo auditable antes de que tu cliente enterprise te lo exija en el RFP.
Reduce el radio de acción de tus agentes en producción. El incidente de Hugging Face empezó con un agente buscando respuestas en la web; el de OpenAI con un enjambre ocupando una wiki. Cada acción autónoma no esencial que tu agente pueda ejecutar es un vector de incidente. Minimiza permisos por defecto y registra todo lo que haga.
Prepárate para reportar incidentes aunque nadie te obligue todavía. Las leyes de California, Nueva York e Illinois ya exigen reportar ciertos incidentes graves y, en algunos casos, auditorías independientes, según TechCrunch. Esperar a la legislación de tu país es esperar demasiado: un post-mortem público y rápido hoy compra reputación y margen regulatorio mañana.

Si tu producto usa modelos frontier de OpenAI, Anthropic, Google o Meta, asume que va a haber otro incidente como los de Hugging Face. Tu ventaja competitiva no será tener el modelo más grande, sino tener la gobernanza técnica y de proceso que te permita seguir operando cuando el siguiente incidente se haga público.