Helen Toner, exconsejera de OpenAI: no confiar en los CEO

¿Quién es Helen Toner y por qué importa lo que dice?

Cuatro miembros del consejo de OpenAI votaron una vez para despedir a Sam Altman. Una de esas cuatro personas es hoy una de las voces que más peso tiene en el debate sobre seguridad de la IA en Washington: Helen Toner, directora ejecutiva del Center for Security and Emerging Technology (CSET) de la Universidad de Georgetown.

Su diagnóstico, en la entrevista que publica The Verge en su podcast Decoder, es incómodo para cualquiera que construya con modelos de frontera: «estamos perdidos» si el plan de seguridad de la IA depende de que una sola persona sea confiable.

La frase no es retórica. Toner estuvo dentro del mecanismo que supuestamente debía impedir que OpenAI traicionara su misión y lo vio fallar en vivo. Y hoy ese mismo tipo de mecanismo —comités de supervisión a nivel de consejo— es una de las cuatro capas del acuerdo voluntario que la Casa Blanca firmó con las principales compañías de IA.

¿Y esto cómo se aplica en tu negocio?

Dueños de negocio de Latinoamérica y España usan un agente de IA para ganar más y recuperar su tiempo. El Kit «tu mano derecha con IA» te muestra cómo en un video de 11 minutos, con una ficha para armar el tuyo. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

¿Qué pasó cuando el consejo de OpenAI intentó frenar al CEO?

El consejo no era decorativo. Según la propia entrevista, existía específicamente para asegurar que la compañía no traicionara su misión de construir IA segura priorizando el crecimiento y las ganancias. Cuando el consejo finalmente intentó accionar la palanca, la rendición de cuentas se rompió: Altman volvió como CEO, Toner renunció, se nombró un consejo nuevo y OpenAI se reestructuró por completo. El episodio quedó bautizado como «the blip».

La lectura útil para un founder no es la política interna del drama, sino la estructural: el órgano de gobierno más fuerte del sector no logró sostener una decisión que le correspondía. Un consejo que puede ser reemplazado por quienes son supervisados no es un contrapeso, es una formalidad.

Eso es exactamente lo que vuelve relevante la conversación hoy. El Acuerdo de la Casa Blanca sobre Superinteligencia, firmado en una comida el 29 de septiembre de 2026 con Amodei, Brockman, Pichai, Zuckerberg, Huang y Musk en la mesa, según Cryptobriefing, se apoya en cuatro capas: controles internos de ciberseguridad y bioseguridad, un equipo interno de verificación, auditores externos independientes y comités de supervisión en el consejo. No tiene mecanismos de sanción ni penalidades; Trump lo describió como «moralmente vinculante», recoge The Christian Science Monitor.

Traducido: la capa cuatro es la misma que falló en OpenAI en 2023, aplicada ahora de forma voluntaria por empresas que designan a sus propios directores.

¿Qué es la mejora recursiva y por qué importa más que la etiqueta «AGI»?

Toner dedica buena parte de la conversación a algo que en la Bahía de San Francisco se da por sentado y que fuera de ahí suena a ciencia ficción: los laboratorios no se ven a sí mismos como empresas de consumo. Se ven como el vehículo hacia máquinas más inteligentes que los humanos.

El plan tiene nombre técnico y décadas de antigüedad. I. J. Good, que trabajó con Alan Turing, describió en los años 60 la posibilidad de una máquina ultra inteligente capaz de construir otra aún más inteligente, y otra después, hasta desatar lo que llamó una «explosión de inteligencia». Décadas más tarde, eso es la mejora recursiva (RSI): usar IA para acelerar el propio proceso de investigación y desarrollo que produce la siguiente generación de IA.

Según Toner, 2025 y 2026 marcaron el momento en que las compañías empezaron a decir que ya hacen una versión mínima de eso en la práctica: no le entregan el desarrollo a GPT-6, pero usan modelos en cada vez más partes de su pipeline de I+D y reportan aceleración. Es la misma idea detrás de la frase de Demis Hassabis sobre estar «en las estribaciones de la singularidad», o del anuncio de Greg Brockman presentando a Astra con un «ya es AGI, diviértanse».

¿Por qué debería importarte si diriges una startup? Porque tu plan de producto asume una curva de capacidad. Si esa curva se acelera, tu ventaja diferencial basada en «lo que el modelo todavía no puede hacer» se evapora antes de tu próxima ronda. Y si no se acelera, quien apostó todo a un salto inminente se queda sin tiempo de caja.

¿Por qué «AGI» ya no sirve como unidad de medida?

Toner no dice que hayamos llegado a la AGI. Dice algo más útil: usar la AGI como hito dejó de ser operativo. Su metáfora es que el concepto es una «nube difusa» y que ya estamos dentro de ella.

Con definiciones básicas, ChatGPT ya calificaba: no era un modelo especializado en una sola tarea, hacía muchísimas.
Con otras definiciones —despertar, ser sintiente, hacer todo lo que hace cualquier humano— estamos lejos.
Si la discusión es si Astra o los modelos con herramientas ya son AGI, el término dejó de discriminar y hay que reemplazarlo por criterios específicos.

Eso tiene una aplicación inmediata en cualquier proceso de compra de tecnología: no evalúes proveedores por etiquetas, evalúalos por pruebas concretas sobre tus casos de uso. La etiqueta no te dice nada; el benchmark sobre tu flujo de trabajo sí.

¿Se puede «resolver» la alineación?

La respuesta corta de Toner: no sabe si la alineación sea algo que se pueda resolver, y la definición más coherente —que el modelo haga lo que el usuario quiere— «no va camino de resolverse».

El problema es que la palabra cubre al menos tres cosas distintas: que las salvaguardas de la empresa funcionen, que el modelo obedezca al usuario, y que el sistema sea moralmente bueno en un sentido amplio. Son tres productos diferentes con ingenierías diferentes.

Sobre el riesgo más citado, las armas biológicas, Toner aporta un dato que desarma la conversación simplista: cientos de miles de personas en Estados Unidos ya saben cómo fabricarlas porque pasaron por formación en biología, y el nivel de ataques es bajo. Parte de la explicación es la escasez de conocimiento, pero buena parte son barreras concretas: acceso a materiales, restricciones a la síntesis de ADN por correo y el monitoreo del FBI a grupos terroristas. La política efectiva, entonces, no es solo pedirle al modelo que no lo haga; es regular los cuellos de botella físicos.

¿Qué tan sólido es el marco regulatorio que hay hoy?

Aquí es donde el testimonio de Toner se cruza con datos verificables del ecosistema y el resultado no es tranquilizador.

Primero, el acuerdo de septiembre no tiene dientes: el senador Mark Warner pidió reglas obligatorias de evaluación y el representante Ro Khanna criticó la falta de requisitos exigibles, según Cryptobriefing. La preferencia legislativa es obligar a testear antes del lanzamiento y a reportar incidentes; en el acuerdo, ambas cosas son opcionales.

Segundo, el organismo técnico está debilitado. El centro de evaluación de IA del Departamento de Comercio, CAISSI, tiene una asignación de US$10 millones anuales, cerca de un octavo del presupuesto de su equivalente en el Reino Unido, según Unite.ai. Su director fue nombrado en abril de 2026 y despedido en días; su reemplazo renunció a los pocos meses. En noviembre de 2026, la agencia AP reportó que se le pidió reportar informalmente a una oficina de la Casa Blanca, lo que abrió dudas sobre su independencia.

Tercero, la orden ejecutiva 14409 del 2 de junio de 2026 creó un marco voluntario de acceso del gobierno a modelos de frontera hasta 30 días antes del lanzamiento y aclara expresamente que no autoriza licencias ni aprobaciones previas obligatorias.

Cuarto, la presión real está bajando por otro canal: estados y tribunales. Nueva York exigirá reportar incidentes de seguridad en 72 horas y ocho estados demandaron a OpenAI, según The Christian Science Monitor. Para una startup, esa es la regulación que te va a tocar primero.

Toner agrega el matiz que evita el cinismo fácil: la brecha entre Silicon Valley y Washington existe, pero se sobreestima. Los equipos de asesores legislativos saben más de lo que se les reconoce, y la pregunta de fondo no es si están atrasados sino si las instituciones, en su estado actual, pueden sacar algo relevante adelante.

¿Qué significa esto para tu startup?

La lección central de la entrevista no es que la seguridad sea responsabilidad de otros: es que la rendición de cuentas personalizada es frágil. Si tu política de IA depende de que el CTO «tenga criterio», tienes el mismo diseño que falló en OpenAI.

Acciones concretas que puedes implementar esta semana:

Copia las cuatro capas del acuerdo como checklist de proveedores. Pregunta a cada proveedor de modelos: ¿qué controles internos tienen?, ¿quién verifica internamente?, ¿qué auditor externo firma?, ¿a qué comité del consejo reporta? Si no puede responder la cuarta, sabes cuánto pesa su promesa.
Evalúa agentes por trayectoria, no por resultado. Sayash Kapoor, de UC Berkeley, advierte en Unite.ai que no existe un proceso estándar para testear la seguridad de agentes en el mundo real: si un agente reserva un vuelo, mirar solo el resultado final hace que la tarea parezca exitosa aunque el camino haya sido un desastre. Registra los pasos intermedios, no solo el output.
Escribe tu protocolo de incidentes antes de necesitarlo. Con Nueva York exigiendo reporte en 72 horas, tener un canal, un responsable y una plantilla de comunicación definidos deja de ser higiene reputacional y pasa a ser cumplimiento.
Usa la auditoría externa como argumento comercial. Como señala Juan Londoño, del Cato Institute, en The Christian Science Monitor, hay incentivo de negocio: quien adopta estos modelos quiere saber que son potentes y también que son seguros. Un sello de tercero te abre puertas en compras enterprise.
No construyas tu foso sobre una incapacidad del modelo. La discusión sobre mejora recursiva es un aviso: la función que hoy no puede hacer y que sostiene tu producto puede ser trivial en dos generaciones de modelos. Construye sobre datos propios, distribución o conocimiento del cliente.

Conclusión

Helen Toner no ofrece una solución limpia, y ese es justamente el valor de su testimonio: quien estuvo dentro del mecanismo de supervisión más ambicioso del sector y lo vio romperse no vende optimismo ni catastrofismo. Vende una idea más incómoda y más útil: si la seguridad de un sistema depende de la decencia de una persona, no tienes un sistema de seguridad, tienes una apuesta.

Para un founder, la traducción es directa. Diseña gobernanza que sobreviva a la rotación de personas, documenta lo que tu IA hace y no solo lo que produce, y no delegues en la confianza lo que necesita procedimientos.