Anthropic propone bloquear modelos de IA por 50 muertes

Qué propone el borrador que Anthropic llevó al Congreso

Anthropic entregó a legisladores en Washington un borrador confidencial de ley federal de seguridad para modelos de frontera. El texto, reportado por Politico, permitiría al gobierno bloquear la distribución de un modelo de IA solo en escenarios extremos: cuando exista un "riesgo previsible e inminente" de que mueran o resulten gravemente heridas más de 50 personas, o de que se produzcan más de US$1.000M en daños a la propiedad.

El riesgo, además, tiene que venir de una de tres causas concretas: la creación o liberación de un arma biológica, que el modelo evada los controles de su propio desarrollador, o un ciberataque. Un portavoz de la compañía confirmó el borrador y lo enmarcó en el Advanced AI Framework que la empresa viene promoviendo ante legisladores federales y estatales desde junio.

Para un founder, el dato relevante no es el umbral en sí, sino quién queda dentro y quién queda fuera de la ley. Con esas cifras, la gran mayoría de las startups de IA del ecosistema hispanohablante no entra en el radar regulatorio. El problema es lo que viene después: obligaciones de transparencia y reporte que terminan bajando por la cadena de proveedores.

¿Quién decide si un modelo se bloquea?

El mecanismo que propone Anthropic es deliberadamente estrecho. Evaluadores independientes, registrados ante el Departamento de Comercio de Estados Unidos, revisarían periódicamente a los laboratorios y a sus modelos de frontera. Si detectan un "riesgo inminente enumerado", tendrían 72 horas para notificar a Comercio.

A partir de ahí, Comercio puede pedirle a un juez federal del Distrito de Columbia que suspenda la liberación del modelo. El texto prohíbe expresamente que cualquier otro departamento, agencia u oficial estadounidense suspenda por su cuenta el desarrollo, el despliegue o el uso interno de un modelo.

Hay un detalle que genera dudas entre analistas: los propios laboratorios podrían pagar a esos evaluadores, siempre que el pago no dependa del resultado de la evaluación. Politico señala que no queda claro cómo ese sistema garantizaría que el dinero no influya en el veredicto. Demis Hassabis, presidente de DeepMind, había planteado meses atrás que un organismo autorregulador de la IA debería parecerse a la FINRA del sector financiero.

¿De dónde salen los umbrales de 50 muertes y US$1.000M?

Los números no son nuevos. El borrador replica el lenguaje de la legislación de California, incluida la SB 53, que según CryptoBriefing fue firmada en 2025 y que Business Insider describe como la base sobre la que Anthropic construyó su versión nacional. La compañía ya había respaldado leyes estatales de seguridad en IA, incluidas dos en California.

El borrador también incluiría la prelación sobre algunas leyes estatales en materia de divulgación de riesgos, evaluación por terceros y reporte de incidentes críticos. Es el punto más conflictivo: Business Insider recuerda que la prelación es un campo minado en el Capitolio, con demócratas rechazando propuestas que consideran debilitan las normas de California, Illinois y Nueva York. Del otro lado, varios grupos tecnológicos sostienen que un mosaico de leyes estatales es mucho más difícil de cumplir que un estándar nacional único.

Además, la ley exigiría a los laboratorios de frontera crear marcos de seguridad, publicar reportes de transparencia para cada nuevo modelo, implementar protecciones para denunciantes y reportar incidentes críticos a Comercio.

El contexto: agentes que hackean y controles de exportación

La propuesta llega después de un verano incómodo. Según Business Insider, los principales laboratorios de IA revelaron una serie de incidentes en los que agentes de IA hackearon o sondearon sitios web y plataformas. Ninguno de los reportados hasta ahora habría causado muertes generalizadas ni daños superiores a US$1.000M.

El mismo medio reporta que Anthropic fue objeto durante el verano de amplios controles de exportación que apagaron dos de sus modelos más avanzados, una decisión tomada en una serie de llamadas entre funcionarios de la administración y ejecutivos de la compañía. Ese episodio encendió las alarmas en la industria sobre la posibilidad de que el acceso a la tecnología se restrinja por decisión discrecional de funcionarios.

TechSpot añade otro elemento al cuadro: un investigador de Anthropic renunció con una advertencia de que la IA podría acabar con la humanidad, y la compañía habría destacado esos riesgos en su prospecto preliminar de IPO. El mismo medio ironiza sobre los umbrales elegidos: causar US$999M en daños o matar a 49 personas quedaría, en teoría, fuera del alcance de la ley.

No es la única iniciativa en danza. En la Cámara de Representantes, Lori Trahan y Jay Obernolte impulsan la FRONTIER Act, que daría al gobierno la capacidad de detener el despliegue de modelos riesgosos. En el Senado, el líder de la mayoría John Thune negocia junto a Amy Klobuchar y Ted Cruz un proyecto de seguridad en IA, con resistencia de la senadora Maria Cantwell, que quiere un rol estatal más amplio. Más a la izquierda, Bernie Sanders y Greg Casar piden directamente una pausa en el desarrollo de IA avanzada y una prohibición de la superinteligencia.

Del lado de la industria, la posición más dura la sostiene Nvidia: su CEO, Jensen Huang, argumentó recientemente que la industria de la IA no necesita ninguna ley nueva.

¿Qué significa esto para tu startup?

Primero, la buena noticia: si construyes un SaaS, una app o un agente sobre APIs de modelos existentes, este borrador no te obliga a nada. Los umbrales y las categorías de riesgo apuntan a los sistemas más avanzados, no al chatbot promedio.

Pero hay tres frentes donde esto te toca igual:

• La cadena de suministro. Si tu producto depende de un modelo de frontera, las obligaciones de transparencia y reporte de incidentes de tu proveedor pueden llegar a tu contrato como requisito de cumplimiento. CryptoBriefing advierte que las evaluaciones independientes obligatorias y los requisitos de transparencia implicarían nuevo gasto para cualquier empresa que construya modelos de frontera: equipos de seguridad dedicados, sistemas de reporte y relaciones formales con evaluadores registrados.
• Una categoría de mercado nueva. Si el borrador se convierte en ley, los evaluadores terceros registrados ante Comercio pasarían a ser una parte obligatoria de la cadena de suministro de IA de frontera. Para startups de evaluación, red-teaming o auditoría de modelos, es la creación de una demanda regulada donde hoy hay servicios ad hoc.
• Un solo estándar en lugar de cincuenta. La prelación estatal es polémica, pero para quien vende en varios estados de EE.UU. significa cumplir con un marco nacional en vez de un mosaico cambiante. Si tu mercado principal es LATAM o España y vendes a clientes estadounidenses, la regulación de Washington se convierte en tu marco de facto.

Acciones concretas para los próximos 90 días

• Audita tu dependencia de modelos de frontera. Haz una lista de qué modelos usas, para qué casos de uso y con qué controles. Si no puedes responder en una hoja cuántos proveedores de frontera tienes y qué datos les envías, ese es el primer hueco a cerrar.
• Documenta tus controles de seguridad ahora. Los marcos de seguridad y los reportes de transparencia son la dirección en la que se mueve la regulación, incluso si tu empresa queda fuera de los umbrales. Tener un registro de incidentes y un canal de denuncia interna te posiciona bien ante clientes corporativos que ya preguntan por esto en sus procesos de compra.
• Mira el registro de evaluadores como oportunidad, no como trámite. Si tu equipo tiene capacidad técnica en seguridad de modelos, el rol de evaluador registrado es un negocio con barrera regulatoria. Vale la pena seguir el texto final antes de invertir.

Conclusión

Anthropic hizo algo poco habitual: un laboratorio de IA proponiendo por escrito cómo quiere que lo regulen. El borrador es más restrictivo que la posición de Nvidia y más laxo que lo que piden Sanders o Cantwell, y su diseño deja el poder de bloquear un modelo en manos de un juez, no de una agencia.

Para el founder hispanohablante, la lectura práctica es simple: hoy esta ley no te alcanza, pero el estándar que fija —evaluación independiente, transparencia, reporte de incidentes— ya está definiendo qué van a exigir tus clientes corporativos y tus propios proveedores de modelos. Prepararse antes de que sea obligatorio es más barato que reaccionar después.

Fuentes

• TechCrunch: Anthropic pitches AI safety bill that may block a model if 50+ people could be killed
• Business Insider: Anthropic's safety bill would let the US block an AI model if there's imminent risk of 50-plus deaths
• CryptoBriefing: Anthropic pitches a frontier AI safety bill to US lawmakers, Politico reports
• TechSpot: Anthropic wants AI models blocked only if they pose catastrophic risk
• IBTimes: Anthropic Pitches Congress AI Safety Bill with $1 Billion, 50-Death Threshold