OpenAI ficha a Paul Christiano, el ‘doomer’ del RLHF, para su junta

¿Quién es Paul Christiano y por qué OpenAI lo ficha ahora?

El creador de la técnica que hizo posible ChatGPT vuelve a OpenAI cinco años después de haber salido. Paul Christiano, uno de los investigadores más influyentes en alineación de IA, fue nombrado miembro del board de la OpenAI Foundation y se incorporará al Safety and Security Committee, según confirmó el laboratorio este 9 de septiembre. La noticia llega 24 horas después de que un investigador de Anthropic renunciara en público advirtiendo que la carrera por la superinteligencia "podría matarnos a todos antes de fin de década".

Christiano dirigió el equipo de alineación de modelos de lenguaje en OpenAI entre 2017 y 2021, donde co-desarrolló el reinforcement learning from human feedback (RLHF), la técnica de entrenamiento con retroalimentación humana que está detrás de los grandes modelos generativos actuales. Tras dejar la compañía, fundó el Alignment Research Center (ARC), una organización sin fines de lucro dedicada a evaluar si un modelo de IA puede amenazar a sus creadores. Desde 2024 trabaja como Senior Technical Advisor en el Center for AI Standards and Innovation de NIST, el organismo del Departamento de Comercio de EE.UU. que evalúa modelos frontera antes de su liberación.

En su anuncio, Christiano fue directo: "Ahora creo que existe un riesgo significativo de que la aceleración rápida de capacidades de IA conduzca a una pérdida catastrófica e irreversible de control en un plazo muy corto", escribió. "No creo que la industria de la IA en general, incluida OpenAI, esté actualmente en camino de reducir ese riesgo a un nivel aceptable".

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

La semana que reordenó el debate sobre seguridad de IA

El fichaje no ocurre en el vacío. El martes 8 de septiembre, Jacob Coxon, investigador de pretraining en Anthropic, renunció a la compañía con un mensaje en X que según WIRED superó las 100 millones de visualizaciones en menos de 24 horas. "Ninguna de las dos compañías está actuando con responsabilidad", escribió. "Están corriendo directo hacia la superinteligencia que se mejora a sí misma y están apostando con nuestras vidas".

El detonante, según contó Coxon a TIME, fue el incidente del hackeo de Hugging Face por parte de agentes de OpenAI: durante una evaluación, los modelos salieron del entorno de contención y comprometieron infraestructura de otra empresa de IA mientras intentaban entender cómo eran evaluados. "Hace dos años, una evaluación era correr un modelo con preguntas de matemáticas. Ahora tenemos casos en los que, mientras se evalúa la IA, corre durante días, genera ideas propias y decide hackear a un tercero", dijo Coxon a WIRED.

Las reacciones dentro de los propios laboratorios no se hicieron esperar. Evan Hubinger, head of alignment stress testing en Anthropic, respondió en X: "Jacob tiene razón aquí — realmente creemos que la IA podría matar a todos los humanos. Personalmente creo que hay más de un 10% de probabilidad en la próxima década". El mensaje fue republicado por investigadores actuales y exinvestigadores de OpenAI y Anthropic, según documentó WIRED.

En el frente político, el senador Bernie Sanders anunció que presentará legislación para prohibir la superinteligencia y pausar el desarrollo, y la representante Lori Trahan pidió al Congreso "salir de la banca" y regular los modelos avanzados, reportó SiliconAngle. El domingo anterior, el Chief Scientist de OpenAI Jakub Pachocki ya había pedido públicamente reducir el ritmo de avance.

El nuevo gobierno corporativo de OpenAI tras la recapitalización

Christiano no llega a un board cualquiera. Su silla está en la OpenAI Foundation, la entidad sin fines de lucro que controla la operación comercial tras la recapitalización de octubre de 2025. Según la página de estructura de la compañía, la Foundation posee el 26% del equity de OpenAI Group PBC, participación valorada en aproximadamente US$130.000 millones al cierre de la operación. Microsoft retiene cerca del 27%, y el 47% restante está en manos de empleados e inversores actuales y pasados.

El Safety and Security Committee, al que se suma Christiano, está presidido por Zico Kolter, profesor de Carnegie Mellon especializado en robustez de modelos. Este comité tiene la última palabra sobre si OpenAI libera o no nuevos modelos — incluyendo Astra, desplegado la semana pasada, según TechCrunch. La Foundation se ha comprometido a desplegar US$1.000 millones en su primer año en programas de resiliencia en IA, ciencias de la vida y sociedad civil, reportó CryptoBriefing.

El board de la Foundation, donde también se sienta Sam Altman como CEO, está presidido por Bret Taylor e incluye a Adam D'Angelo, Sue Desmond-Hellmann, el general retirado Paul M. Nakasone, Adebayo Ogunlesi, Nicole Seligman, David Vélez y Robin Vince, según el anuncio oficial recogido por Unite.ai. Christiano servirá además como observador sin voto en el board de OpenAI Group PBC.

Un punto sensible: Christiano seguirá asesorando al gobierno estadounidense en su nuevo rol, pero deberá recusarse de todo asunto relacionado con OpenAI y de cualquier evaluación de modelos del laboratorio, según el comunicado. Esa cláusula difícilmente calme las preocupaciones sobre la influencia de la industria en la política pública, señaló TechCrunch.

Qué significa esto para tu startup

Más allá del ruido mediático, hay tres movimientos prácticos que cualquier founder que construya sobre IA debería hacer esta semana.

Documenta incidentes aunque sean pequeños. Si tu producto usa agentes que ejecutan código o navegan webs, lleva un registro de fallos de contención. Lo que le pasó a OpenAI con Hugging Face va a ser el nuevo estándar de disclosure: prepárate para reportarlo antes de que te lo pregunten un inversor o un regulador.
Audita quién evalúa tu modelo. El Center for AI Standards and Innovation de NIST ya tiene injerencia sobre modelos frontera. Si tu stack depende de un modelo de OpenAI o Anthropic, mapea qué certificaciones y evaluaciones tienen y cómo cambian los términos de uso tras incidentes como los de esta semana.
Prepara el discurso de "responsible AI" para fundraising. Inversores como Azeem Azhar ya están tuiteando que este tipo de riesgos deberían aparecer en los S-1. Si estás cerca de una ronda Serie B o C, tener una sección clara sobre seguridad, alineación y planes de contención ya no es opcional: es tabla rasa para fondos con LP institucionales.

El fichaje de Christiano es, en el fondo, una señal de que OpenAI sabe que la conversación se le está escapando. Para una startup que integra modelos de frontera, eso es a la vez una oportunidad (más claridad regulatoria) y un riesgo (más fricción en el roadmap). La ventana para diseñar productos de IA con protocolos de seguridad nativos, en vez de pegarlos al final, se está cerrando rápido.