Guterres pide supervisión global de la IA: 4 retos clave

Guterres: la IA ya supera la capacidad humana de controlarla

António Guterres, secretario general saliente de la ONU, abrió el Debate General del 81º periodo de sesiones de la Asamblea General con una advertencia que cualquier fundador con agentes autónomos en producción debería leer dos veces: los sistemas tecnológicos ya superan la capacidad humana de controlarlos y comprenderlos.

No es una declaración de un tecnófobo. Es el diagnóstico del jefe de la principal organización multilateral del mundo, que puso la supervisión de la inteligencia artificial al mismo nivel que la paz y la seguridad, la concentración de la riqueza y el caos climático. Guterres, cuyo segundo mandato de cinco años termina el 31 de diciembre, según reportó El Economista, advirtió que el poder se está desplazando hacia un grupo reducido de corporaciones e individuos y se delega "de forma riesgosa" en sistemas de IA.

Días antes, ante periodistas, ya había identificado "tres amenazas existenciales": la IA desbocada, la crisis climática y el aumento de las desigualdades. En ese mismo encuentro mencionó el Panel Científico Internacional Independiente sobre IA como la instancia que aportará la evidencia para las discusiones globales, según el despacho de UN News reproducido por Global Issues.

Su receta: cooperación entre potencias para regular antes de que se consoliden vacíos legales globales. El problema es que ese vacío ya existe, y las startups operan justo dentro de él.

Los cuatro retos técnicos que nadie sabe cómo resolver

Guterres enumeró cuatro obstáculos concretos para la supervisión de la IA. Vale la pena leerlos como una lista de riesgos operativos, no como teoría:

• Autonomía avanzada. Los agentes capaces de perseguir objetivos complejos de forma continua y en segundo plano reducen la supervisión directa paso a paso. Cuando tu producto ejecuta tareas sin que un humano apruebe cada acción, la pregunta "¿quién responde?" deja de tener una respuesta obvia.
• Brecha de velocidad. El ritmo de innovación comercial de las tecnológicas avanza más rápido que la capacidad de los legisladores de escribir normas. Cualquier roadmap de compliance que asuma ciclos regulatorios de tres a cinco años está desactualizado por diseño.
• Caja negra e interpretabilidad. Los modelos complejos toman decisiones difíciles de auditar o explicar. Si no puedes reconstruir cómo tu modelo llegó a un resultado, tampoco puedes defenderlo ante un cliente, un regulador o un juez.
• Vigilancia escalable. La idea de usar sistemas de IA más simples para evaluar las respuestas de modelos hiperavanzados sigue en fase de prueba. Es el equivalente a contratar aprendices para auditar a los socios de la firma.

El giro que cambió el debate: las propias empresas pidieron regulación

El momento más significativo de esta discusión no fue el discurso de Guterres, sino lo que pasó en el Consejo de Seguridad de la ONU en una sesión convocada por Francia durante la Asamblea General. Allí, según Infobae, los máximos responsables de OpenAI, Anthropic y Hugging Face pidieron a los gobiernos establecer mecanismos de control conjuntos.

Dario Amodei, CEO de Anthropic, dijo ante los 15 miembros del Consejo que "si se gestiona mal, incluso creo que la IA podría ser un riesgo para la humanidad en su conjunto". Sam Altman, de OpenAI, fue igual de directo: "Podríamos perder el control del futuro frente a la IA". Y agregó un argumento que incomoda a más de un fundador: "Si la IA ha de ser democrática, las decisiones más importantes no pueden tomarlas laboratorios en San Francisco por sí solos".

El científico canadiense Yoshua Bengio, copresidente del Panel Científico Internacional Independiente creado por la Asamblea General, resumió el diagnóstico: "Los peligros son reales e inminentes".

No hubo consenso. La administración estadounidense rechazó cualquier regulación internacional y la calificó de "esquema globalista", según el mismo reporte. El asesor de Ciencia y Tecnología de la Casa Blanca, Michael Kratsios, sostuvo ante el Consejo que "no se puede gobernar una tecnología que no se comprende" y que el organismo debería centrarse en compartir mejores prácticas en lugar de crear un esquema regulatorio global. Del otro lado, el canciller francés Jean-Noël Barrot comparó el momento con los inicios de la era atómica, y el secretario de Relaciones Exteriores del Reino Unido, Ed Miliband, anunció que su país pondrá el control de la IA en el centro de las discusiones del G20 cuando asuma la presidencia en 2027.

Para un founder, la lectura práctica es esta: la fragmentación regulatoria no es un riesgo futuro, es el escenario actual. Vas a vender en mercados con reglas distintas, y tu producto tiene que sobrevivir a la más estricta.

Qué cambia con el AI Act europeo y el Pacto Digital Global

La Unión Europea ya tiene la primera norma jurídica integral del mundo en la materia. El AI Act funciona por niveles de riesgo:

• Riesgo inaceptable: prohíbe la manipulación cognitiva, la puntuación social (social scoring) y la identificación biométrica remota en tiempo real en espacios públicos.
• Alto riesgo: cubre herramientas usadas en infraestructuras críticas, educación, empleo —como el filtrado de currículos— o dispositivos médicos, y exige evaluaciones previas y controles estrictos.
• Riesgo limitado y transparencia: obliga a etiquetar claramente los contenidos generados por IA, incluidos los deepfakes, y a informar a los usuarios cuando interactúan con un chatbot.

Las prohibiciones de prácticas inaceptables rigen desde febrero de 2025 y en agosto de 2026 entraron en vigor las obligaciones de transparencia y las normas para sistemas de alto riesgo. La supervisión está a cargo de la Oficina de IA europea.

En paralelo, la ONU empuja el Pacto Digital Global, un marco de cooperación internacional frente a la desinformación, los ciberataques y el impacto de la superinteligencia, con un panel científico y un diálogo global para monitorear riesgos emergentes y compartir directrices éticas.

El movimiento no es solo europeo. En la Singapore International Cyber Week, el subsecretario general de la ONU y enviado especial para Tecnologías Digitales y Emergentes, Amandeep Singh Gill, pidió que cada país construya una infraestructura mínima de seguridad en IA, con estándares mínimos de evaluación y auditores independientes certificados, y citó el AI Safety Institute de Singapur —creado en 2024— como modelo, según reportó The Straits Times. Singapur, además, se sumó junto a más de 20 países y la Unión Europea a una declaración que reclama supervisión internacional vinculante sobre los modelos de frontera.

De prompt engineer a auditor: el cambio de perfil que ya está pasando

La fuente original lo plantea sin vueltas: la habilidad laboral predominante deja de ser únicamente formular comandos para convertirse en auditar. Es un cambio de eje que afecta directamente cómo contratas.

Durante los últimos años, el perfil más buscado fue quien sabía sacarle jugo a un modelo. Ahora el valor se corre hacia quien puede demostrar que el sistema hizo lo que decía hacer. Gill lo formuló así: confiamos en un sistema digital cuando entendemos para qué fue diseñado, podemos probar lo que afirma hacer y, cuando falla, los humanos conservan la capacidad de intervenir.

Eso implica delimitar mandatos claros y definir quién asume la responsabilidad cuando un agente autónomo se equivoca. No es un problema de ingeniería: es un problema de diseño organizacional.

¿Qué significa esto para tu startup?

Ninguna startup hispanohablante va a sentarse en el Consejo de Seguridad. Pero las decisiones que se están tomando ahí van a llegar a tus contratos enterprise, a tus procesos de compras y a tus due diligence de inversión. Tres movimientos concretos:

• Mapea tus agentes autónomos y ponles trazabilidad. Haz un inventario de cada proceso donde un modelo actúe sin aprobación humana paso a paso. Para cada uno, define qué se registra, quién puede revertir una acción y en cuánto tiempo. Si un cliente te pregunta qué hizo tu agente un martes a las 3 de la mañana, necesitas una respuesta en minutos, no en días.
• Adelanta la documentación de transparencia. El AI Act ya exige etiquetar contenido generado por IA e informar cuando un usuario habla con un chatbot. Si vendes en Europa o a clientes europeos, tener fichas técnicas de modelo, evaluación de riesgos y política de datos lista antes de que te la pidan te ahorra meses de ciclo de venta. Es el mismo documento que te va a pedir un fondo en la due diligence.
• Convierte la auditoría en producto. La brecha entre lo que los modelos hacen y lo que podemos verificar es un mercado. Herramientas de evaluación, registro de acciones de agentes, certificación de procedencia de contenido y auditoría de sesgos son categorías con demanda creciente y poca oferta en español. Si tu equipo ya resolvió ese problema internamente, probablemente sea un producto.

Un dato que ayuda a dimensionar hacia dónde va el capital: las startups de tecnología de defensa levantaron USD 14.600 millones en 107 rondas de venture solo en los primeros cinco meses de 2026, superando el récord anual previo de USD 9.600 millones de 2025, según el análisis de financiamiento de TechTimes. Buena parte de ese dinero va a sistemas diseñados para operar con mínima intervención humana. La supervisión no es un tema de compliance: es la próxima capa de infraestructura.

Conclusión

Guterres deja el cargo el 31 de diciembre con una advertencia que no se resuelve con un comunicado. La supervisión de la IA pasó de ser un debate académico a una condición operativa: los propios laboratorios que construyen los modelos más potentes del mundo reconocieron ante el Consejo de Seguridad que no pueden contener solos los riesgos que generan.

Para un founder, la ventana es ahora. Las empresas que documenten sus sistemas, definan responsables y puedan explicar cómo deciden sus modelos van a vender más fácil en un mercado que se está regulando por capas. Las que no, van a descubrir el problema cuando un cliente grande les pase el cuestionario de seguridad y no tengan nada que responder.

Fuentes

• Merca 2.0 (fuente original)
• El Economista
• Infobae
• The Straits Times
• Global Issues / UN News
• TechTimes