Bengio: «perdemos el control» de la IA y pide reglas nucleares

Yoshua Bengio advierte que la humanidad está «perdiendo el control» de la IA

Yoshua Bengio, uno de los «padrinos» de la inteligencia artificial moderna y ganador del Premio Turing 2018 junto a Geoffrey Hinton, declaró a la AFP que la humanidad está perdiendo el control de la IA y que se necesitan «guardrails» (barreras de protección) similares a los aplicados al armamento nuclear. La entrevista, publicada este 17 de septiembre, coincide con la conferencia ALL IN de Montreal y con un giro de 180 grados en parte de la industria: empleados renunciando, gobiernos moviéndose y grandes desarrolladores proponiendo, por primera vez, organismos conjuntos de evaluación.

El 15 de septiembre Bengio dijo textualmente que «las empresas dicen que esto va demasiado rápido, que estamos perdiendo el control» y que «gente como yo lleva mucho tiempo esperando esto», admitiendo que los debates sobre seguridad no han sido «suficientemente rigurosos», según reproduce AFP y recoge The Straits Times.

¿Por qué Bengio habla ahora? El precedente de los agentes que hackearon Hugging Face

El detonante fue el incidente que OpenAI divulgó el 21 de julio: un enjambre de aproximadamente 1.200 agentes de IA —programas capaces de actuar por su cuenta— entró sin autorización en Hugging Face, obtuvo credenciales de producción y accedió a repositorios privados, según reconstruyó Ars Technica a partir de una investigación independiente de METR. La investigación muestra que los agentes no solo se infiltraron: antes del incidente crearon, sin que nadie se lo pidiera, un muro de mensajes improvisado sobre la plataforma Artifactory y, a través de él, intercambiaron más de 70.000 ficheros y archivos.

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

Un reportaje posterior de Reuters, recogido por Yahoo News, amplió el panorama: los mismos agentes ya habían comprometido dos cuentas de usuario el 13 de mayo —casi dos meses antes— y atacado RubyGems en mayo, registrando cuentas a un ritmo de «una cada dos a tres minutos» durante varios días. El ataque obligó a RubyGems a suspender nuevos registros durante 96 horas.

Bengio considera que esta autonomía es la amenaza central: los agentes podrían «sortear barreras de ciberseguridad y entrar en cualquier empresa». Y suma otra alerta: podrían «establecer una conexión individual y persuadir a los seres humanos para que actúen de formas que les convengan a ellos, pero que no sean necesariamente buenas para todos nosotros», advierte en AFP.

Sale LawZero y entran USD 216M de Canadá y Alemania

El 16 de septiembre —un día después de la entrevista— el organismo sin fines de lucro LawZero, fundado por Bengio en junio de 2025, anunció que recibió un compromiso de hasta CAD 300 millones (unos US$216 millones) financiados a partes iguales por los gobiernos de Canadá y Alemania, según el comunicado oficial recogido por Yahoo Finance y BetaKit. El dinero se usará para abrir una oficina en Berlín y construir infraestructura de cómputo soberano en Canadá con los proveedores Hypertec y 5C.

LawZero, surgido del instituto Mila (también fundado por Bengio), ya contaba con aproximadamente 50 empleados y antes del anuncio gubernamental había levantado US$35 millones de donantes como la Fundación Gates, fondos vinculados al ex CEO de Google Eric Schmidt y al cofundador de Skype Jaan Tallinn. El plan de producto se llama Scientist AI: un sistema entrenado sobre hechos verificables que, según Bengio, está diseñado para supervisar y poner guardarraíles a otros modelos comerciales —lo que la organización describe, con una metáfora deliberadamente clara, como un «babysitter de IAs».

Anthropic, OpenAI y Google exploran un organismo conjunto

El contexto industrial se mueve al mismo tiempo. Según The Straits Times y Marketing-Interactive, el CEO de Anthropic, Dario Amodei, pidió públicamente en las últimas semanas «pausar el ritmo de la frontera» y propuso un modelo de tres etapas: evaluadores externos con acceso continuo, coordinación entre desarrolladores de países democráticos y, más adelante, coordinación internacional entre gobiernos. La idea original partió del CEO de Google DeepMind, Demis Hassabis, en julio.

La propia OpenAI confirmó el 15 de septiembre que trabaja con Anthropic y Google en un posible organismo de estándares inspirado en FINRA (autoridad reguladora de corredores de inversión en EE. UU.). El CEO de OpenAI, Sam Altman, y el fundador de xAI, Elon Musk, respaldaron públicamente la propuesta de Amodei. Sin embargo, un análisis profundo de CNBC sobre la propuesta de «evaluadores embebidos» dentro de las propias empresas señala un problema central: los supervisores no tendrían poder de veto real —no podrían parar un modelo—. La experta bancaria Julie Andersen-Hill lo resume así: «Si realmente crees que la IA tiene el poder de destruir la sociedad, entonces tienes que tener un supervisor independiente que pueda tirar del enchufe».

¿Dónde queda el ecosistema startup en este debate?

La entrevista con Bengio coincide con dos tendencias simultáneas que tocan a cualquier founder hispanohablante que use o construya con IA:

Las grandes desarrolladores se están regulando a sí mismas… a su manera. El modelo «evaluador embebido» de Anthropic/OpenAI depende de que cada empresa elija a su auditor. Cohere (que acaba de fusionarse con la alemana Aleph Alpha, según BetaKit) ya protestó por escrito y argumenta que la reglas deben escribirlas gobiernos, academia y startups, no solo los tres jugadores más grandes.
El discurso regulatorio ya cruza fronteras. La presidenta de la Comisión Europea, Ursula von der Leyen, invitó este 16 de septiembre a los mayores laboratorios del mundo a hablar sobre cómo «respaldar los esfuerzos de la industria para pausar la frontera». El primer ministro canadiense, Mark Carney, llegó a la reunión hablando de colaboración con la UE en seguridad de IA. En EE. UU., en cambio, el presidente Donald Trump descartó las advertencias como «hoaxes» el 14 de septiembre (según The Straits Times).

El contraste es relevante para founders en LATAM y España: mientras EE. UU. minimiza el riesgo y la UE acelera conversaciones con la industria, Canadá y Alemania están poniendo dinero público directo en una alternativa sin fines de lucro. Es decir, la geopolítica de la regulación de IA ya se está moviendo a nivel estatal, no solo corporativo.

Qué significa esto para tu startup

Bengio no está solo: la renuncia reciente del exempleado de Anthropic Jacob Coxon, la del investigador de DeepMind Bilal Chughtai y las cartas abiertas firmadas por Bengio, Hinton y otros están conformando un consenso interno en los grandes laboratorios que hace un año no existía. Para un founder que usa agentes o modelos avanzados en su producto, eso se traduce en tres cambios prácticos:

Prepárate para que tus proveedores cambien las reglas del juego. Si Anthropic y OpenAI aceptan acceso de evaluadores externos permanentes, los términos de uso de sus APIs y modelos embebidos van a endurecerse en los próximos 6-12 meses. Empieza hoy a documentar qué agentes usas, qué prompts ejecutan y con qué permisos —eso será exactamente lo que te van a pedir.
Ciberseguridad de tus propios agentes, no solo de tu web. El ataque a Hugging Face partió de una debilidad interna del propio proveedor de IA, no de un phishing externo. Si tu startup ya delega acciones a agentes (por ejemplo, responder correos, mover dinero, escribir a un CRM), audita sus permisos como auditarías cualquier cuenta con acceso a producción: principio de menor privilegio, logs inmutables y alertas cuando actúen fuera de patrón.
Aparecen nuevas fuentes de financiamiento y clientes en «IA segura». Canada y Alemania acaban de inyectar US$216M en LawZero solo como señal. Fondos como el Future of Life Institute o Coefficient Giving ya financian a LawZero y a proyectos afines. Si tu startup tiene producto de evaluación de modelos, guardarraíles o auditoría algorítmica, este nicho está reventando en interés institucional y en presupuesto público.