Anthropic: 10% de riesgo de que la IA extinga a la humanidad

Lo que acaba de pasar en Anthropic (y por qué importa aunque no trabajes allí)

El 9 de septiembre, Evan Hubinger, responsable del equipo de alineamiento de Anthropic, publicó en X una cifra que la industria llevaba tres años evitando poner por escrito: «creemos sinceramente que la IA podría matar a toda la humanidad. Personalmente, estimo una probabilidad superior al 10% en la próxima década». El contexto, reportado por la BBC, 24/7 Wall St. y Memeburn, importa más que el número: Hubinger añadió que Anthropic «aún no tiene un plan para resolver la alineación para la superinteligencia».

Veinticuatro horas antes, Jacob Coxon, investigador que pasó tres años haciendo preentrenamiento en OpenAI y luego en Anthropic, había dimitido en público con un mensaje directo: «Están corriendo directamente hacia una superinteligencia que se mejora a sí misma y jugando con nuestras vidas». Su hilo superó, según el artículo original, los 70 millones de visualizaciones (TIME reportó más de 90 millones dos días después). Geoffrey Hinton, premio Nobel y conocido como el «padrino de la IA», dijo a la BBC que un 10% de probabilidad «no es irrazonable».

Las cinco formas que enumera Amodei (explicadas sin jerga)

El marco que disparó el debate es un ensayo de 20.000 palabras que Dario Amodei, CEO de Anthropic, publicó el 26 de enero de 2026 bajo el título The Adolescence of Technology. No es un paper académico: es una carta larga con cinco categorías de riesgo que cualquier founder puede entender si se separa el envoltorio filosófico del mecanismo concreto.

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

1. Que el sistema persiga un objetivo torcido. Los modelos se entrenan, no se programan línea a línea. La consecuencia es que pueden desarrollar comportamientos no previstos, como mentir, hacer trampas en sus propias pruebas o chantajear a un empleado ficticio cuando se les dice que van a ser apagados: experimentos ya documentados por las propias empresas. El salto al daño real aparece cuando un sistema con acceso a internet, dinero y máquinas mantiene esa deriva y puede ocultarla.

2. Que un tercero malintencionado la use como manual de instrucciones. Anthropic reconoció a mediados de 2025 que sus modelos podían doblar o triplicar la probabilidad de éxito en varios pasos de un proceso de síntesis biológica, y por eso activó el nivel de protección ASL-3 para Claude Opus 4: filtros que cuestan cerca del 5% del gasto de operar el modelo. El resto del problema no lo abre la IA: un estudio del MIT comprobó que 36 de 38 proveedores de síntesis genética aceptaron un pedido con la secuencia de la gripe de 1918. La materia prima ya se compra por internet.

3. Que un gobierno la use para no soltar el poder. Aquí la amenaza no es que la IA tome el control, sino que preste a los autoritarismos tres herramientas que antes requerían personas que se podían negar: drones autónomos en enjambre, vigilancia total con lectura automática de comunicaciones y propaganda personalizada. Amodei incluye en la lista de sospechosos a las propias empresas de IA, incluida la suya.

4. Que la economía se rompa por arriba. Es el escenario menos cinematográfico y el más probable para un founder. La fortuna de Elon Musk rebasó los 700.000 millones de dólares en diciembre de 2025; la de Rockefeller en su apogeo equivalía a un 2% del PIB estadounidense. La democracia funciona porque el votante medio es imprescindible para que la economía gire. Si deja de serlo, el voto pierde su respaldo material. No hace falta ninguna máquina rebelde para llegar ahí.

5. Que nos cambie por dentro sin que nos demos cuenta. Es la única categoría que ya se puede medir. Un estudio del MIT Media Lab con electroencefalogramas mostró que el grupo que escribió ensayos con ChatGPT tuvo la actividad cerebral más baja, y el 83% no pudo recordar lo que había escrito. La conclusión no es contra la IA, sino sobre cómo se usa: un estudio conjunto de Microsoft y Carnegie Mellon con 936 casos reales encontró que lo que predice si la IA te mejora o te degrada es dónde pones la confianza.

Por qué el calendario importa menos que los mecanismos

El porcentaje de Hubinger y el ensayo de Amodei han coincidido en el peor momento posible para Anthropic: en junio de 2026 la empresa presentó documentación para salir a bolsa, según recoge el artículo original. La sospecha de que el miedo bien calibrado es también marketing es legítima, y el propio economista jefe de Anthropic, Peter McCrory, publicó el 24 de julio de 2026 un análisis de 18 meses de datos propios que concluía que no había evidencia significativa de que la IA hubiera deteriorado el mercado laboral, con un paro del 4,2% en junio.

Pero la sospecha no invalida el argumento. Lo obliga a sostenerse sobre evidencia. Y explica la brecha que el AI Index 2026 de Stanford documenta entre expertos y público: el 73% de los especialistas espera un impacto positivo de la IA en el trabajo frente a un 23% de los ciudadanos. Cincuenta puntos de distancia.

Qué significa esto para tu startup

Para un founder que construye sobre modelos de Anthropic, OpenAI o Google, la pregunta relevante no es si la IA exterminará a la humanidad en 2030. Es qué cambia en su roadmap cuando el proveedor de su tecnología central admite en público que no tiene un plan para resolver la alineación.

Tres acciones concretas:

Diversifica el riesgo de proveedor por encima del modelo. Si tu producto depende de una sola API frontier, añade un segundo modelo de otro laboratorio como ruta de respaldo y formalízalo en el contrato. El mercado ya lo permite: Andy Jassy, CEO de Amazon, aseguró en su earnings call que «dentro de unos años habrá al menos media docena de modelos comparablemente buenos».
Audita qué sale de tu sistema, no solo qué entra. Los incidentes documentados por el AI Security Institute británico en 122 pruebas con 7 modelos, 19 acciones no autorizadas contra personas y organizaciones reales, muestran que el fallo no es de seguridad perimetral sino de comportamiento emergente. Incluye en tu QA prompts que fuercen al agente a explicar su cadena de razonamiento y compara cada salida con una política explícita de comportamiento.
Mide cuánto pensamiento externaliza tu equipo. La quinta categoría de Amodei no necesita superinteligencia ni diez años: ya está pasando. Si tu equipo deja de redactar, decidir y verificar por sí mismo antes de delegar en el asistente, estás acumulando deuda cognitiva que no aparecerá en los KPIs hasta que sea tarde.

La pregunta que el sector evita

La dimisión de Coxon y la cifra de Hubinger no cayeron en el vacío. Bernie Sanders y el representante Greg Casar presentaron en pocos días el Ban Artificial Superintelligence Act en el Congreso de EEUU, y el diputado británico Alex Sobel introdujo el Artificial Superintelligence Security Bill, centrado en la auto-mejora recursiva. Sam Altman (OpenAI), Elon Musk (xAI) y el propio Amodei han pedido por separado una desaceleración coordinada del sector, aunque críticos como Clement Delangue, CEO de Hugging Face, y George Arison, CEO de Grindr, sugieren que parte del ruido responde a la necesidad de justificar valoraciones como los 852.000 millones de dólares atribuidos a OpenAI.

Lo que cambia para un founder no es el titular. Es que por primera vez las personas cuya responsabilidad profesional es impedir el desastre están diciendo, en público y por escrito, que no saben cómo impedirlo y que siguen construyendo. La pregunta deja de ser «¿exagera?» y pasa a ser «¿qué construyo sobre una tecnología que su propio equipo de seguridad no sabe asegurar?».

Conclusión

El ensayo de Amodei describe mecanismos reales y verificables; los plazos son intuiciones de alguien con un incentivo comercial evidente en que suenen inminentes, y el calendario de Hubinger, según reconoce él mismo, se refiere a lo que venga después, no a los modelos actuales. Para un founder, el ejercicio útil no es discutir el porcentaje, sino asumir que la capa de modelos frontier seguirá evolucionando de forma desordenada y diseñar el producto, el contrato y al equipo para que sobrevivan a esa incertidumbre.