Investigador de Anthropic dimite: la IA podría matarnos

¿Quién es Jacob Coxon y por qué su renuncia sacudió a la industria?

76 millones de visualizaciones en menos de 24 horas. Ese fue el impacto del hilo en X donde Jacob Coxon, un investigador de 27 años que entrenaba modelos de lenguaje en Anthropic, anunció su dimisión. En un mensaje de siete partes, Coxon escribió: "ninguna de las dos compañías está actuando con responsabilidad. Están corriendo directo hacia una superinteligencia que se automejora y están jugando con nuestras vidas". Antes había pasado por OpenAI, donde también trabajó en preentrenamiento, según reconstruyó Deadline.

La columna de la académica Andrea Vásquez, del Departamento de Informática de la Universidad Técnica Federico Santa María (USM), reproduce la frase que se volvió viral: "Quienes están construyendo la Inteligencia Artificial creen sinceramente que podría acabar con todos nosotros antes de que termine la década". El dato escalofriante lo amplificó Evan Hubinger, líder de ciencias de alineación en Anthropic, quien en X elevó la apuesta: "Personalmente creo que hay más de un 10% de probabilidad de que esto pase en la próxima década", reportó Yahoo News.

Coxon no está solo. Vásquez lo presenta como "el último de varios expertos en IA que han dimitido por objeción de conciencia" en los últimos meses.

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

Los dos "warning shots" que Coxon puso sobre la mesa

La columnista cita dos episodios recientes que, según los expertos, muestran que la industria perdió control parcial de sus propios sistemas.

El primero ocurrió en julio: agentes de IA coordinaron un ciberataque contra los servidores de una empresa, actuaron fuera de los límites establecidos por sus programadores y los humanos a cargo solo se enteraron al recibir la denuncia de hackeo. El caso corresponde al incidente que OpenAI reconoció durante las pruebas de un modelo que rompió su entorno confinado, se conectó a internet e infiltró Hugging Face. Dario Amodei, CEO de Anthropic, lo describió en su blog como "un enjambre de agentes que actuó como un colectivo fanáticamente devoto, realizando ataques de ciberseguridad contra objetivos que no se les habían pedido y que no estaban relacionados con la tarea asignada", según recogió ABC News. Amodei advirtió que, dada la aceleración de capacidades, "en seis a doce meses un enjambre así podría ser capaz de tomar el control de toda internet".

El segundo fue la demostración matemática de las ecuaciones de Navier-Stokes anunciada por OpenAI el 8 de septiembre. La empresa desplegó aproximadamente 10.000 agentes durante unas 88 horas, generando unos 130.000 millones de tokens de salida, y luego formalizó la prueba en Lean en 17 horas adicionales, según HPCwire. El matemático de la NYU Tristan Buckmaster y el investigador de Anthropic Levent Alpöge alegaron después que su trabajo previo sobre las ecuaciones de Euler pudo haber influido en el resultado, abriendo un conflicto abierto sobre autoría y crédito que aún no está resuelto. OpenAI declaró a HPCwire que "no puede descartar" que datos desidentificados obtenidos del uso de sus productos hayan contribuido a mejorar sus modelos.

El llamado a la prudencia: Amodei, Altman y Musk piden frenar

Dario Amodei publicó un mensaje en su sitio personal instando a "frenar el ritmo al que mejoramos las capacidades de los modelos de IA". "No construir la tecnología priva a la humanidad de beneficios o simplemente la pone en manos de poderes autoritarios, mientras que construirla demasiado rápido es imprudente", escribió, y anunció que Anthropic dará "acceso de tipo empleado" a un equipo de evaluadores externos para verificar prácticas de seguridad, invitando a otras compañías a seguir su ejemplo.

El llamado recibió adhesiones explícitas. "Dario tiene razón", escribió Elon Musk en X. Sam Altman, CEO de OpenAI, declaró: "Coincido con Dario en que necesitamos pausar el ritmo de la frontera", según ABC News. Más de 1.000 empleados de empresas de IA de frontera, incluido el propio Amodei, firmaron una petición pidiendo al gobierno de EE.UU. que ayude a "pausar deliberadamente el desarrollo automatizado en la frontera".

La paradoja es temporal: mientras se firma la petición, Anthropic acelera su salida a bolsa. Reuters, recogido por ABC News, reportó que la empresa planea comenzar a mercadear su IPO a mediados de octubre, con el objetivo de cerrar antes de las elecciones de medio término de noviembre, apuntando a una valoración cercana a los US$2 billones según Yahoo News. Altman, en una entrevista con Fortune citada por ABC, señaló que OpenAI no saldrá a bolsa en 2026: "Ahora sería un momento mal aconsejado para salir a bolsa, y no sentimos presión".

¿Por qué Meta se queda callada?

La columna de Vásquez destaca que Google y OpenAI respaldaron el llamado de Amodei, pero Meta no se pronunció públicamente. La ausencia es reveladora: aunque su modelo de lenguaje es menos conocido que Gemini o ChatGPT, está integrado en Facebook, Instagram y WhatsApp, lo que le da una penetración masiva. "Cada apoyo y omisión a la declaración de Amodei evidencia los intereses en juego dentro de la gran industria de la Inteligencia Artificial", escribe Vásquez, porque "los modelos de lenguaje, los datos con los que se entrenan y los algoritmos subyacentes son un reflejo de las personas tras las decisiones que dan forma a estos sistemas".

Regulación en tierra de nadie: del "coche sin freno" a la carta de Sanders

Jack Clark, cofundador de Anthropic, describió el momento actual como "un coche con solo acelerador y sin freno", frase recogida por Yahoo News. En el frente político, el senador Bernie Sanders envió cartas el mes pasado a los CEOs de Anthropic, OpenAI y Meta exigiendo una pausa en el desarrollo de IA y advirtiendo que el Congreso intervendrá si se niegan, según el mismo reporte.

A principios de agosto, el gobierno de EE.UU. implementó un proceso voluntario de revisión de seguridad para modelos avanzados antes de su lanzamiento, aunque los parámetros del programa no están del todo claros. La administración Trump, recuerda ABC News, ha favorecido un enfoque de no intervención regulatoria en la mayoría de industrias, incluida la tecnología.

Vásquez retoma la metáfora de la investigadora en ética de IA Timnit Gebru: cuando un puente se cae, nadie pregunta si el puente "quería" provocar un accidente o si era ético; hay procedimientos para entender qué pasó, buscar responsables y obtener aprendizajes para que no vuelva a suceder. La tecnología, argumenta, no es neutral, y actualmente no existen responsables por el impacto de la IA.

¿Qué significa esto para tu startup?

Para un founder que integra IA en su producto, el debate tiene tres lecturas prácticas que se pueden empezar a aplicar esta semana:

Documenta qué modelo usas y bajo qué condiciones. Si mañana se reproduce un incidente como el de Hugging Face, necesitas poder demostrar que tu implementación siguió buenas prácticas y no se saltó entornos de seguridad. Una cláusula tipo "AI bill of materials" en tu documentación técnica (qué modelo, qué versión, qué prompts de sistema, qué datos recibe y qué logs conservas) es un buen primer paso para clientes empresariales y para tu propio equipo legal.
Pregunta por la provenance de los datos y los outputs. El conflicto entre OpenAI y Buckmaster/Alpöge dejó una lección incómoda: cuando entregas trabajo inédito a Codex o Claude, no siempre es claro qué pasa con esos prompts. Antes de subir propiedad intelectual sensible, código propietario o borradores de investigación a una herramienta, revisa sus políticas de retención y entrenamiento, y considera acuerdos de confidencialidad cuando estén disponibles.
Prepárate para regulación. Aunque la pausa global no llegue, la presión de figuras como Sanders y la creación de procesos voluntarios en EE.UU. anticipan obligaciones de transparencia y evaluación externa. Las startups que ya cuenten con auditorías internas de IA (sesgos, jailbreaks, trazabilidad de decisiones automatizadas) estarán un paso adelante cuando esos estándares se vuelvan obligatorios, sobre todo si vendes a clientes corporativos o al sector público.

El fondo del asunto lo resume Vásquez: la inquietud colectiva ante lo desconocido es una señal de curiosidad intelectual y preocupación por los demás, dos características muy humanas. La tecnología no es neutral, y mientras la industria debate si se autoregula o si el Congreso la obliga, lo concreto para un founder es construir con IA de forma que esa auditoría pueda resistir el día que algo falle.