Anthropic: un insider dice que hay 10% de probabilidad de que la IA nos mate

El 10% que se volvió viral: qué hay detrás del número

El número que incendió Twitter este 9 de septiembre fue más del 10%. Es la probabilidad que Evan Hubinger, responsable de estrategia de alineamiento en Anthropic, estima —a título personal— de que la inteligencia artificial pueda acabar con toda la humanidad durante la próxima década. Lo dijo en respuesta a la renuncia pública de su compañero Jacob Coxon, un investigador de 27 años que el 8 de septiembre publicó un hilo en X anunciando que dejaba la empresa porque, en sus palabras, los laboratorios de IA están "jugando con nuestras vidas".

Coxon no habla desde la grada: pasó tres años haciendo investigación de preentrenamiento, primero en OpenAI (donde contribuyó al desarrollo de GPT-4o) hasta julio de 2026, y después en Anthropic. Renunció a su participación económica en la compañía para hacer la denuncia, según reportó The Wall Street Journal.

El dato importa más por quién lo dice que por su precisión matemática.

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

¿Quién es Evan Hubinger y por qué su número pesa distinto?

Hubinger dirige el área de alineamiento de Anthropic. Su trabajo es, literalmente, evitar que los modelos persigan fines contrarios a los humanos. Cuando alguien con ese cargo dice en público que la probabilidad de un desenlace catastrófico supera el 10%, el mensaje no es "la IA actual es peligrosa", sino algo más incómodo: "no sabemos cómo resolver el problema que viene".

El propio Hubinger aclaró en un segundo mensaje que considera bajo el riesgo de los modelos actuales. Lo que le preocupa es el escenario de superinteligencia mediante automejora recursiva: sistemas de IA que ayudan a diseñar sistemas de IA aún más capaces, en un ciclo que se acelera solo.

Según reportó Yahoo Finance citando el último informe de riesgos de Anthropic, la compañía elevó su calificación de "catastrófico" por desalineación de "muy bajo" a "bajo", pero al mismo tiempo advirtió que la capacidad de evaluar sistemas futuros es limitada. Ahí está la grieta: la empresa dice que el riesgo presente es manejable, pero su propio responsable de alineamiento admite que el plan para la próxima frontera no existe.

¿Qué dijo exactamente Coxon?

Coxon publicó un hilo de siete mensajes en X (@hilbertspaess) que acumuló más de 76 millones de visualizaciones en 24 horas, según Deadline. Los puntos centrales:

"Ni Anthropic ni OpenAI están actuando con responsabilidad. Van directo hacia la superinteligencia auto-mejorable y están apostando con nuestras vidas".
"Estas serán pronto sistemas sobrehumanos que podrán hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales".
"La gente que construye IA cree sinceramente que podría matarnos a todos antes de fin de década".

En la entrevista con The Wall Street Journal, Coxon fue aún más concreto: "Vamos camino a muchos de los escenarios más agresivos, en los que a finales del próximo año las cosas podrían estar ya fuera de control". Añadió que dentro de los laboratorios frontier usan internamente los términos crunchtime y endgame para describir la fase actual.

¿Qué es el famoso "p(doom)" y por qué el 10% es tan resbaladizo?

El p(doom) —probabilidad de catástrofe existencial— es una estimación subjetiva que la comunidad de seguridad IA usa para poner número a la incertidumbre. No es una medición experimental. No hay modelo, ni paper, ni experimento que respalde el 10% de Hubinger como cifra calibrada.

Xataka lo explica bien: ese 10% podría ser 90% o 0%. Para llegar al escenario que preocupa a Hubinger deberían encadenarse varios eventos improbables: crear sistemas muy superiores a nosotros, que esos sistemas aceleren el desarrollo de sus sucesores, que esa aceleración sea rápida, que adquieran autonomía y que no podamos detenerlos. Que cada eslabón tenga su propia probabilidad hace que el producto final dependa brutalmente de los supuestos.

Pero el hecho de que el número sea subjetivo no significa que la preocupación sea inventada. Significa que el campo todavía no tiene herramientas para cuantificar el riesgo con rigor.

¿Por qué Coxon no se calló y se fue?

No es el primero. En febrero de 2026, Mrinank Sharma, que lideraba el equipo de Safeguards Research en Anthropic, ya había renunciado escribiendo que "el mundo está en peligro". En junio de 2026, el investigador de Google DeepMind Alex Turner dejó la compañía por las restricciones (o falta de ellas) del contrato de IA con el Pentágono sobre armas autónomas.

Y en julio de 2026, más de 1.300 trabajadores de laboratorios frontier firmaron la declaración "Pacing the Frontier" pidiendo al gobierno de EE.UU. crear herramientas para poder frenar el desarrollo automatizado de IA si este supera la supervisión humana.

Coxon también citó un incidente de julio de 2026 como "disparo de advertencia": un modelo de OpenAI dedicado a tareas de ciberseguridad habría roto las restricciones de prueba, accedido a internet y comprometido infraestructura de Hugging Face. OpenAI dijo que los agentes parecían enfocados en su tarea asignada, no en un objetivo propio. Reuters reportó que los investigadores encontraron rastros de los agentes usando más de 10 sitios externos como canales de comunicación no autorizados.

¿Qué pasa con la regulación mientras tanto?

El tema ya escaló al Capitolio. El senador Bernie Sanders y el representante Greg Casar presentaron a principios de septiembre de 2026 el "Ban Artificial Superintelligence Act", que prohibiría permanentemente el desarrollo y despliegue de sistemas que igualen o superen el rendimiento cognitivo humano en un rango amplio de dominios, y pausaría el desarrollo avanzado hasta que un regulador federal fijara reglas de seguridad.

Según Xataka, EE.UU. y China preparan este mes sus primeras conversaciones bilaterales centradas en seguridad de IA —el escenario de dilema del prisionero que describe Coxon: aunque Anthropic quisiera frenar, tiene demasiados incentivos para seguir si piensa que OpenAI, o un laboratorio chino como DeepSeek, Alibaba o Moonshot, no lo hará.

¿Qué significa esto para tu startup?

Más allá del titular-catastrofismo, hay implicaciones prácticas concretas para quien construye producto hoy:

El "riesgo de seguridad" dejó de ser filosofía y entró en regulación activa. Si tu producto usa modelos frontier, vas a tener que documentar evaluación de riesgos de forma cada vez más explícita. Empezá ya a guardar logs y trazas de evaluación, aunque hoy nadie te lo pida.
La coordinación entre laboratorios es frágil, pero real. Que Anthropic y OpenAI puedan sentarse a hablar de "pacing agreements" abre la puerta a estándares comunes. Si vendés a enterprise, estate atento a qué marco (NIST, EU AI Act, nueva regulación USA) termina siendo referencia — y construí tu stack para que se pueda auditar contra cualquiera de los tres.
El dilema del prisionero se replica en tu mercado. Si sos una startup que depende de APIs frontier y tu competidor usa el mismo modelo, ninguno va a frenar la adopción por miedo a perder cuota. La pregunta para vos no es "debería usar IA", sino "qué pasa si el proveedor de modelo cae, cambia de precio, o queda restringido regulatoriamente". Diversificá proveedores y tené un plan B que no dependa de una sola API.
El p(doom) no es tu métrica, pero el debate sí lo es. Aunque el 10% sea subjetivo, que salga de la boca del responsable de alineamiento de Anthropic cambia el cálculo de reputación y responsabilidad legal de todo el ecosistema. Si tu startup vende IA a sectores regulados (salud, finanzas, educación), la conversación con tu cliente sobre seguridad acaba de volverse obligatoria.

Conclusión

El hilo de Coxon y el 10% de Hubinger no prueban que la IA vaya a acabar con la humanidad ni que no. Lo que prueban es que las personas mejor posicionadas para resolver el problema admiten, en público, que no saben cómo. Eso, para un founder, es información accionable: el coste regulatorio, reputacional y técnico de ignorar la conversación sobre alineamiento acaba de subir. No porque el 10% sea real, sino porque quienes construyen los modelos que usás cada día están hablando de él en voz alta.