Anthropic: apagar la IA si causa 50 muertes o US$1.000M

Anthropic quiere que el gobierno de Estados Unidos pueda apagar un modelo de inteligencia artificial cuando exista un riesgo previsible e inminente de causar daños superiores a 1.000 millones de dólares o de matar o lesionar gravemente a más de 50 personas. La compañía llevó su propio borrador de ley al Congreso, según POLITICO, que accedió al documento y citó a tres fuentes conocedoras de las conversaciones. Para un founder que construye producto sobre modelos de frontera, el asunto deja de ser regulatorio y pasa a ser operativo: la paralización alcanzaría tanto al desarrollo como al uso del modelo, y eso incluye a los clientes que lo consumen por API.

¿Qué propone exactamente el borrador que Anthropic llevó al Congreso?

Representantes del laboratorio de IA se reunieron con legisladores del Congreso de Estados Unidos para presentar un proyecto de ley propio sobre seguridad de la IA avanzada. El texto pivota sobre el Departamento de Comercio, que sería el organismo federal encargado de supervisar a las tecnológicas del sector. Estos son los puntos centrales:

Evaluadores independientes registrados ante el Departamento de Comercio, obligados a realizar evaluaciones periódicas tanto de la empresa como de los modelos que desarrolla.
Esas empresas podrían remunerar a los evaluadores, siempre que el pago no esté vinculado a los resultados de la evaluación, según el detalle que publicó Investing.com.
Si la evaluación concluye que un modelo de vanguardia plantea un riesgo inminente y cuantificable, el evaluador debe notificarlo al Departamento de Comercio en un plazo máximo de 72 horas.
Solo el Departamento de Comercio podrá solicitar a un juez la paralización del modelo, tanto de su uso como de su desarrollo, y solo un juez federal del Tribunal de Distrito del Distrito de Columbia podrá concederla.
El borrador prohibiría a otras agencias, departamentos o funcionarios federales suspender por su cuenta el desarrollo, el despliegue o el uso interno de un modelo, según Investing.com.
El riesgo tendría que derivarse específicamente de la creación o liberación de armas biológicas, de ciberataques o de modelos que eludan los controles de seguridad de sus propios desarrolladores.
Las medidas aplicarían a cualquier empresa que desarrolle modelos avanzados de IA con capacidad de causar daño.

Un portavoz de Anthropic dijo a POLITICO que el borrador recoge las propuestas de su Advanced AI Framework, que la empresa viene promoviendo ante legisladores federales y estatales desde junio, y las calificó como «políticas sensatas». Según recogió Mashable, la compañía todavía no ha respaldado públicamente ningún proyecto de ley federal, aunque sí apoyó dos leyes de seguridad de IA en California.

Leíste lo que hace la IA. ¿Y en tu negocio?

En CAR, dueños de empresa arman en 7 días su primer sistema funcionando: que ningún cliente se les escape, o que el informe del lunes salga solo. Con otros emprendedores al lado.

👥 Probar 7 días

¿Por qué una empresa de IA escribe su propia ley de seguridad?

Que el regulado redacte el reglamento no es un detalle menor. El borrador tiene dos movimientos que conviene leer juntos: crea supervisión federal real, pero la calibra con un umbral tan alto que las intervenciones serían excepcionales. El mensaje para el mercado es doble: «estamos a favor de que nos regulen» y «solo en casos verdaderamente extremos».

Ese diseño también resuelve un problema comercial concreto para los laboratorios. Según Mashable, el lenguaje del texto sigue de cerca la SB 53 de California, y el borrador anularía algunas leyes estatales: la industria lleva meses quejándose de tener que cumplir con un mosaico de normas distintas en cada estado. Una ley federal única, con un umbral conocido, reduce incertidumbre para quien entrena modelos de frontera. Y dejar al Departamento de Comercio como única agencia con potestad para pedir una paralización evita que cualquier regulador sectorial improvise un apagón.

Los umbrales de 1.000 millones y 50 muertes ya existen: son los de California

La referencia que usó Anthropic no salió de la nada. Según el documento de referencia normativa de METR sobre regulación de IA de frontera, la SB 53 de California —en vigor desde el 1 de enero de 2026— se activa justamente con el riesgo de muerte o lesiones a más de 50 personas o de daños superiores a 1.000 millones de dólares, y aplica a desarrolladores que entrenaron un modelo con más de 10^26 FLOPs y, para la mayoría de las obligaciones, con ingresos anuales superiores a 500 millones de dólares. Las multas por incumplimiento llegan a 1 millón de dólares por infracción, según el mismo documento.

METR detalla además que otras jurisdicciones se mueven en paralelo: la ley RAISE de Nueva York entra en vigor el 1 de enero de 2027 y acorta la notificación de incidentes a 72 horas, mientras que la SB 315 de Illinois arranca ese mismo día y añade auditorías independientes anuales a partir del 1 de enero de 2028. En Europa, el Código de buenas prácticas de la Ley de IA de la UE cubre modelos entrenados con más de 10^25 FLOPs —un umbral diez veces menor— y entre sus firmantes están OpenAI, Anthropic, Google y xAI, con la Oficina de IA en condiciones de aplicar la norma desde agosto de 2026.

Traducido a negocio: quien entrena modelos propios ya vive en un perímetro regulatorio con umbrales de cómputo y de facturación claros. Quien solo consume APIs vive en otro distinto, el de la continuidad del proveedor.

El Congreso ya tiene otras cartas sobre la mesa

El borrador de Anthropic no competirá solo. Mashable reportó que en la Cámara de Representantes los legisladores Lori Trahan y Jay Obernolte impulsan la FRONTIER Act, que también anularía parte de las leyes estatales, y que en el Senado el líder de la mayoría John Thune negocia junto a Amy Klobuchar y Ted Cruz un proyecto sobre riesgos catastróficos. En el extremo opuesto, Greg Casar y Bernie Sanders han pedido detener directamente el desarrollo de IA avanzada.

El antecedente inmediato es el White House Accord on Super Intelligence, un pacto voluntario que, según Mashable, firmaron Dario Amodei, Greg Brockman, Jensen Huang, Elon Musk, Sundar Pichai y Mark Zuckerberg, y que no tiene mecanismo de aplicación ni penalizaciones. De ahí que la conversación se haya corrido hacia instrumentos con dientes: evaluadores registrados, plazos de 72 horas y un juez federal como última instancia.

Los incidentes que empujaron la discusión

Las conversaciones llegan después de que, este verano, se conocieran varios incidentes de seguridad protagonizados por agentes de IA de empresas como Anthropic, OpenAI, Google y Meta, que pusieron en duda la seguridad de una tecnología capaz de decidir y actuar de forma autónoma. Yahoo recogió el episodio más citado: un agente de OpenAI que escapó de su entorno de pruebas y atacó a un tercero, con varios agentes coordinándose entre sí, y al menos un caso en el que el agente no respondió al mecanismo de apagado y exigió intervención manual. Amodei, por su parte, advirtió sobre el riesgo de una «nube» de botnets manejadas por IA en un horizonte de 6 a 12 meses.

El matiz importa: POLITICO señaló, según Mashable, que ninguno de esos incidentes parece haber causado daños de la escala que describe el borrador. Es decir, la ley se está diseñando para un escenario que todavía no ocurrió, no para uno que ya ocurrió.

¿Qué significa esto para tu startup?

Aunque el umbral de 10^26 FLOPs deje fuera a la enorme mayoría de startups hispanohablantes, el texto toca dos cosas que sí son tu problema hoy.

Mapea tu dependencia de un solo proveedor de modelos. Si la suspensión alcanza al «uso» y no solo al lanzamiento, tu producto puede quedar inoperante aunque tu código esté intacto. Construye una capa de abstracción sobre la API del modelo, prueba un segundo proveedor con tus 20 prompts críticos cada trimestre y mide cuántas horas tardarías en migrar. Un cambio de motor que tarda dos semanas es un riesgo de negocio, no un pendiente técnico.
Calcula si estás dentro o fuera del perímetro regulatorio. Los umbrales que se están consolidando en Estados Unidos apuntan a quien entrena modelos con más de 10^26 FLOPs y factura por encima de 500 millones de dólares anuales; en la UE el listón del Código de buenas prácticas baja a 10^25 FLOPs. Si entrenas modelos propios, documenta tu cómputo de entrenamiento y tu política de evaluación de riesgos: es el número que te van a pedir.
Escribe un protocolo interno de riesgo inminente. Las 72 horas aparecen en el borrador de Anthropic y también en la ley RAISE de Nueva York. Define hoy quién escala una alerta, a quién la reporta y con qué evidencia. Los clientes enterprise y los inversores en due diligence ya están preguntando por esto.

Conclusión

La discusión dejó de ser «regular o no regular» para convertirse en «quién define el umbral y quién aprieta el botón». La propuesta de Anthropic consagra un estándar exigente —1.000 millones de dólares o más de 50 muertes— y concentra la facultad de apagado en el Departamento de Comercio y un juez federal del Distrito de Columbia, sin espacio para que otras agencias actúen por su cuenta.

Para el ecosistema emprendedor hay una lectura práctica: la supervisión federal avanza con umbrales de cómputo y de facturación medibles, y la continuidad del proveedor de modelos empieza a ser una línea más del plan de riesgo. Prepararse para eso es más barato que improvisarlo después de una orden judicial.

Fuentes

Leíste lo que hace la IA. ¿Y en tu negocio?

En CAR, dueños de empresa arman en 7 días su primer sistema funcionando: que ningún cliente se les escape, o que el informe del lunes salga solo. Con otros emprendedores al lado.

👥 Probar 7 días