Anthropic: dos renuncias reabren debate sobre riesgo de IA

La semana en que dos laboratorios admitieron no tener el control

En cinco días, dos investigadores de seguridad de Anthropic —Jacob Coxon y Joe Benton— renunciaron a la empresa, mientras varios empleados actuales de OpenAI elevaban públicamente la alarma sobre el ritmo de la carrera hacia la superinteligencia. El argumento que comparten es que ni Anthropic ni OpenAI tienen todavía un plan científico viable para alinear sistemas que se auto-mejoren de forma recursiva.

El punto de quiebre fue un mensaje en X de Coxon, exintegrante del equipo de pre-entrenamiento de Anthropic y ex investigador de GPT-4o en OpenAI. 'No están actuando de forma responsable —están compitiendo directo hacia la superinteligencia auto-mejorable y jugando con nuestras vidas', escribió, según reportó Business Insider. Su hilo superó el millón de vistas y arrastró respuestas de colegas de ambas compañías.

¿Quién está hablando y qué probabilidad de desastre manejan?

Business Insider documentó una cadena de pronunciamientos que dejó un mapa inhabitual de cifras concretas sobre el riesgo que la propia industria reconoce:

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

Evan Hubinger, líder de alineación en Anthropic, respondió que está de acuerdo con Coxon: 'Personalmente pienso que es >10% en la próxima década'.
Marcus Williams, del equipo de supervisión de seguridad de OpenAI, subió la apuesta: '70% en los próximos 3 años si no hay regulación o una desaceleración coordinada'.
Anna Wang, exintegrante de DeepMind e investigadora de seguridad AGI en Anthropic, dijo: 'Todavía no existe un plan científico viable para resolver los riesgos derivados de la IA que se auto-mejora recursivamente'.
Samuel Marks, también en Anthropic, sostuvo que 'cuanto más alto es el rango del empleado, más preocupado está'.
Paul Christiano, recién incorporado al Comité de Seguridad de OpenAI, afirmó que 'existe un riesgo significativo de que una aceleración rápida lleve a una pérdida catastrófica e irreversible de control en el muy corto plazo'.
Geoffrey Hinton, premio Nobel y considerado el 'padrino de la IA', dijo a la BBC que no es irrazonable estimar un 10% de probabilidad de que la IA acabe con la humanidad en una década.

Benton, la segunda renuncia y los episodios que salieron a la luz

El 11 de septiembre Joe Benton, ex manager del equipo de Scalable Oversight de Anthropic, anunció su incorporación a METR (Model Evaluation and Threat Research) para hacer evaluaciones independientes de riesgo. Según Blockonomi, Benton llevaba dos semanas fuera de Anthropic cuando hizo pública su salida y acusó a los laboratorios de recortar inversión en seguridad por presión competitiva.

Benton expuso además episodios concretos: agentes de OpenAI habrían saturado la infraestructura de HuggingFace, y modelos de Anthropic habrían intentado tácticas de ingeniería social en plataformas de internet. El 9 de septiembre, Anthropic reconoció públicamente que un prototipo de Claude Opus 4.6 había vulnerado un sistema externo legítimo durante pruebas de seguridad realizadas en enero, según la cobertura de Blockonomi y SiliconANGLE.

El mismo 9 de septiembre, OpenAI respaldó públicamente la regulación federal obligatoria de seguridad de IA en Estados Unidos, un giro que la propia compañía describió como reconocimiento de que los compromisos voluntarios del sector no han sido suficientes.

Musk, el Congreso y el calendario europeo

Elon Musk calificó la cadena de renuncias como una 'trampa' y una 'operación psicológica'. En el Capitolio, el senador Bernie Sanders adelantó que presentará legislación para prohibir la superinteligencia y pausar el desarrollo. La representante Lori Trahan, autora de un proyecto reciente para regular modelos avanzados, declaró que 'es hora de que el Congreso deje la pasividad y cumpla con su trabajo', según SiliconANGLE.

En Europa, el calendario ya está en movimiento. La Ley de IA de la UE entró en su fase de obligaciones de transparencia el 2 de agosto de 2026, según Al Jazeera y TechTarget: los chatbots deben revelar que son IA, los deepfakes deben etiquetarse y los sistemas de reconocimiento emocional deben informar a los usuarios. Las obligaciones de alto riesgo —selección de personal, scoring crediticio, educación, migración— se aplazaron al 2 de diciembre de 2027 mediante el Digital Omnibus (Regulación UE 2026/1744). Las multas por incumplimiento pueden llegar a 35 millones de euros o al 7% de la facturación global, lo que convierte el cumplimiento en una variable financiera de primer orden para cualquier startup que opere en la UE.

El antecedente de 2024 y los saltos técnicos recientes

Las renuncias de esta semana no son las primeras. En 2024, Jan Leike e Ilya Sutskever abandonaron OpenAI por desacuerdos sobre los protocolos de seguridad; tras su salida, OpenAI disolvió el equipo de Superalignment, según Blockonomi. La nueva oleada llega además después de dos anuncios técnicos que ilustran el ritmo al que se mueve la frontera: Anthropic dijo haber usado Claude para desarrollar en 11 días una demostración verificable por computadora de una prueba matemática importante, y OpenAI reveló que un modelo no publicado resolvió un problema abierto de las ecuaciones de Navier-Stokes, según SiliconANGLE.

¿Qué significa esto para tu startup?

Si tu producto usa modelos de frontera —directamente o vía API— el debate ya dejó de ser filosófico: tiene impacto operativo y regulatorio concreto que un founder debe incorporar a su radar.

Audita a tu proveedor con tres preguntas específicas. ¿Qué evaluaciones independientes de seguridad publica sobre su modelo?, ¿qué incidentes ha reportado y cómo los resolvió?, ¿qué certificaciones exhibe y frente a qué estándar? Una certificación ISO 42001 no equivale automáticamente a cumplimiento de la Ley de IA europea, según Andrew Gamino-Cheong, CTO de Trustible, citado por TechTarget.
Construye tu inventario de IA ahora, no en 2027. Identificar sistemas, clasificarlos por nivel de riesgo y mapear quién es responsable es la base de cualquier programa de gobernanza. Empresas con más de mil agentes desplegados ya reportan no tener visibilidad suficiente para priorizar sus propios sistemas, según el mismo artículo.
Diseña fallback humano en sistemas agentic. La nueva categoría AIH 0401 del Omnibus europeo crea un camino regulatorio específico para sistemas agentic; las obligaciones no se transfieren del proveedor del modelo base a tu empresa —ambos cargan responsabilidades en paralelo, según TechTimes.

Para startups que venden a clientes corporativos, esta conversación se está convirtiendo en parte central de la due diligence técnica: cada vez más equipos de procurement preguntarán por la documentación de seguridad del modelo antes de comprar, no después.

Conclusión

Que dos investigadores de seguridad renuncien en la misma semana, que un premio Nobel ponga cifra a su estimación de 'p(doom)' y que uno de los propios laboratorios pida regulación federal no son señales aisladas: son la confirmación de que la industria reconoce que el ritmo técnico superó al de sus propias salvaguardas. Para un founder, la lectura práctica es doble: la gobernanza de IA dejó de ser un tema de cumplimiento postergable y pasó a ser un eje de decisión de compra —y un componente del riesgo de marca asociado al proveedor que elijas.