Anthropic fija en 50 muertos el umbral para frenar la IA

Anthropic quiere que el gobierno de Estados Unidos solo pueda frenar un modelo de IA si este amenaza con causar más de US$1.000 millones en daños o la muerte o lesiones graves de más de 50 personas. Lo hace con un borrador de ley que presentó en el Capitolio y al que tuvo acceso Politico: el umbral no se activa con riesgos difusos, sino con un peligro previsible e inminente que además debe provenir de tres fuentes concretas: la creación o liberación de un arma biológica, un ciberataque o un modelo que consiga evadir los controles de su propio desarrollador.

Para un founder que construye sobre modelos frontera, la noticia no es solo regulatoria. Define a partir de qué punto tu proveedor puede recibir una orden judicial y apagarle el producto.

¿Qué propone exactamente el borrador de Anthropic?

El mecanismo tiene cuatro piezas y una capa de obligaciones encima.

• Evaluadores independientes. Organismos registrados ante el Departamento de Comercio evaluarían periódicamente a un laboratorio y a sus modelos frontera. Los laboratorios podrían pagarles, siempre que el pago no dependiera del resultado de la evaluación.
• Un reloj de 72 horas. Si un evaluador detecta un «riesgo inminente enumerado», debe comunicárselo a Comercio dentro de las 72 horas posteriores al cierre de la evaluación.
• Un juez federal decide. Comercio podría pedir a un juez del Tribunal de Distrito que detenga el lanzamiento de un modelo, y debe presentarle sus pruebas; según recoge Xataka citando a Tom’s Hardware, la decisión final es del juez. La investigación de IBTimes precisa que el tribunal competente es el de Distrito de Columbia.
• Un solo interruptor. El texto prohíbe explícitamente a cualquier otro «departamento, agencia u oficial» suspender el desarrollo, el despliegue o el uso interno de un modelo. Combinado con el umbral, el Departamento de Comercio queda como el único órgano ejecutivo capaz de frenar un modelo, y solo un tribunal puede ordenarlo.

Encima de eso, el borrador exige a los laboratorios crear marcos de seguridad, publicar informes de transparencia por cada nuevo modelo frontera, proteger a quienes denuncian problemas de seguridad y notificar los incidentes críticos a Comercio.

¿Por qué es llamativo que sea Anthropic quien redacte la ley?

No es habitual que un laboratorio escriba las reglas de su propia industria. Un portavoz de Anthropic declaró a Politico que el borrador refleja el Marco de IA Avanzada que la empresa promueve entre legisladores desde junio, y lo calificó como «políticas sensatas sobre las que creemos que el Congreso debería actuar». La compañía todavía no ha respaldado formalmente ningún proyecto de ley específico en el Congreso.

La novedad es el umbral, y ahí se concentra la crítica. Cybernews recoge que Heidy Khlaaf, científica jefa de IA del AI Now Institute, calificó la propuesta de «autocrática» por dejar que la propia empresa desarrolladora fije el nivel de muerte y daño que justifica la intervención estatal. El mismo medio recoge las declaraciones de Arthur Mensch, CEO de la francesa Mistral AI, quien sostuvo que las empresas estadounidenses instrumentalizan los avisos apocalípticos para cerrar el mercado a su favor.

Hay un dato que explica el contexto: según Politico, varios de los incidentes de este verano —no se han traducido en muertes ni en daños superiores a US$1.000 millones, así que no habrían superado el umbral del borrador. IBTimes añade otro antecedente relevante: Anthropic enfrentó controles de exportación durante ese mismo periodo que suspendieron temporalmente dos de sus modelos más avanzados, un episodio que encendió las alarmas de la industria sobre la intervención estatal.

¿Qué está pasando en el Congreso mientras tanto?

El borrador aterriza en medio de una actividad inédita. IBTimes señala que el Congreso evalúa otras propuestas de seguridad, entre ellas la FRONTIER Act en la Cámara de Representantes y negociaciones en el Senado lideradas por John Thune, Amy Klobuchar y Ted Cruz.

El Mundo, en una pieza con licencia de The Wall Street Journal, suma detalles: el demócrata Ro Khanna pidió crear una agencia reguladora federal para la IA, similar a las que existen para la energía nuclear y la aviación, y respaldó los interruptores de apagado; el senador Josh Hawley notificó a Sam Altman que su subcomité investiga el ataque a Hugging Face por parte de cientos de agentes de OpenAI; y las elecciones de mitad de mandato presionan el calendario legislativo. El mismo texto recuerda que Donald Trump mantiene una postura poco intervencionista y que advirtió contra una regulación demasiado pesada por el impacto en la carrera tecnológica.

En los estados el movimiento va más rápido. Según WWWhatsnew, que cita a Bloomberg, el gobernador de California Gavin Newsom firmó el 18 de septiembre de 2026 una orden ejecutiva que encarga estudiar un mecanismo de apagado de emergencia para modelos frontera, el mismo tipo de medida que vetó en 2024 con la SB 1047. Esto importa porque, según IBTimes, el borrador de Anthropic anularía parte de las leyes estatales sobre divulgación de riesgos, evaluaciones de terceros y reporte de incidentes críticos.

¿Qué significa esto para tu startup?

Aunque sea un borrador y Anthropic no lo haya respaldado formalmente, la dirección es clara: la conversación regulatoria pasó de «si» a «con qué umbral» y «quién aprieta el botón». Para un equipo que construye sobre modelos frontera, hay decisiones que conviene tomar antes de que llegue la obligación.

• Documenta tu marco de seguridad ahora. El borrador exige marcos de seguridad e informes de transparencia por cada modelo frontera. Si tu producto se apoya en modelos de terceros, tener tu propio documento de gobernanza de IA te sirve hoy para vender a empresas y mañana para cumplir.
• Blinda tu cadena de proveedores. Pide en los contratos notificación de incidentes críticos y ventanas de aviso claras. Las 72 horas del borrador son un estándar razonable para negociar, incluso si tu proveedor no está en Estados Unidos.
• Prepara un protocolo de incidentes con reloj. Si un agente tuyo actúa fuera del entorno previsto —el patrón de los incidentes de este verano—, tu respuesta en las primeras horas define si el caso escala o se queda en un postmortem interno.
• Revisa si la preempción federal te beneficia o te expone. Si vendes en Estados Unidos y ya cumples normas estatales más duras, como las de California, una regla federal única puede simplificarte el cumplimiento. Si tu diferencial es el cumplimiento estricto, puede diluirlo.
• Cuida tu posición pública. Sumarte a cartas que piden reglas es cada vez más común y también más escrutado: la acusación de captura regulatoria ya se usa contra los grandes laboratorios y salpica a quien firma.

Conclusión

El borrador de Anthropic hace algo poco frecuente: pone un número donde antes había una discusión abstracta. 50 muertos o US$1.000 millones en daños es un umbral que, según Politico, los propios incidentes de este verano no habrían alcanzado, y eso es exactamente lo que sus críticos le reprochan.

Queda por ver si los legisladores lo aceptan como medida de seguridad razonable o como una forma de captura regulatoria. La empresa aún no respaldó un proyecto específico, el Senado negocia su propia versión y en California el debate avanzó por decreto.

Para un founder, la decisión útil no es esperar la ley: es definir hoy qué nivel de seguridad puedes demostrar ante un cliente, un inversor o un juez. El umbral cambia; la evidencia de que controlas tu sistema, no.

Fuentes

• Xataka: el listón que Anthropic quiere fijar para frenar un modelo de IA (fuente original)
• IBTimes: Anthropic Pitches Congress AI Safety Bill with $1 Billion, 50-Death Threshold
• Investing/Yahoo: Anthropic proposes AI safety bill with strict intervention thresholds
• Cybernews: AI must threaten to kill over 50 people for government to intervene
• WWWhatsnew: Newsom pide el kill switch de IA que vetó hace dos años
• El Mundo: el Congreso de Estados Unidos despierta ante la amenaza de la IA

Artículos relacionados:

Senado de EE.UU. negocia ley para vetar modelos de IA inseguros Anthropic aplaza el calendario de OPIs 2026: claves y riesgos Anthropic Code Review: IA para revisar código a $20 por PR Sánchez frena los centros de datos en España: la regulación que China no se atrevería Tribunal avala al Pentágono y mantiene a Anthropic fuera del Pentágono