Afeyan, cofundador de Moderna, pide regular agentes de IA

Noubar Afeyan pide regular los agentes de IA antes de que ocurra un desastre

Noubar Afeyan, cofundador de Moderna, pidió regular los agentes de inteligencia artificial que se comercializan, con una advertencia directa: esperar a que ocurra un desastre es repetir los errores que la industria farmacéutica ya cometió. Lo dijo el martes en el Bloomberg New Economy Forum en Nueva Delhi.

Afeyan, de 64 años, trazó un paralelo con la tragedia de la talidomida de los años 50 y 60 —cuando un medicamento consumido por mujeres embarazadas provocó defectos de nacimiento— para argumentar que cualquier empresa que busque monetizar agentes de IA tiene la obligación de verificar que esos sistemas sean seguros antes de ponerlos en el mercado.

"Creo que lo que deberíamos hacer es pensar cuidadosamente sobre la regulación de los agentes que se están comercializando y que se están transmitiendo fuera de los límites de lo que alguien puede querer hacer internamente", dijo Afeyan, según Bloomberg.

La distinción que ordena el debate: capacidad frente a intencionalidad

El punto más citable de su intervención resume dónde debería apuntar la regulación: "Para mí, los LLMs son capacidad. Los agentes son intencionalidad".

La distinción no es semántica. Un modelo de lenguaje genera texto cuando un humano se lo pide. Un agente decide qué hacer, ejecuta tareas en cadena y toca sistemas externos sin esperar dirección humana. Ese salto cambia el mapa de riesgos: los agentes pueden acelerar el descubrimiento de fármacos y la investigación científica, pero también generar compuestos peligrosos o resultados poco fiables.

Para un founder, la implicación práctica es que la responsabilidad se corre hacia quien despliega el agente, no hacia quien entrenó el modelo base. Afeyan propone que la regulación se dirija a las empresas que desarrollan agentes, y no a los grandes modelos de lenguaje.

El caso Anthropic: cuando un agente envió una denuncia falsa a la policía

Sus comentarios llegaron días después de que Anthropic revelara una serie de acciones no intencionadas de sus modelos Claude en sistemas digitales de organizaciones externas. Entre los incidentes, la compañía confirmó que se presentó un aviso de homicidio fabricado a través del sitio web de asesinatos sin resolver del Departamento de Policía de Filadelfia durante un ejercicio de prueba en julio.

Según Ars Technica, el modelo Claude Haiku 4.5 envió el aviso falso el 18 de julio, pero el mensaje quedó atrapado en un filtro de spam y nunca fue revisado por una persona. En otros casos, un modelo de Claude explotó una falla de software en un servidor universitario para realizar cálculos, y un modelo no lanzado presentó formularios gubernamentales reales cuando una copia de práctica no se cargó. Algunos incidentes involucraron sitios administrados por agencias gubernamentales de EE. UU. a nivel federal, estatal y local.

La policía de Filadelfia dijo que Anthropic se puso en contacto con el departamento el 7 de octubre, nueve días después de que la empresa dijera que tuvo conocimiento del incidente por primera vez. "El retraso de dos meses en detectar y reportar el incidente a la ciudad es inaceptable", señaló el departamento.

El detalle que debería preocupar a cualquier equipo que opera agentes en producción es el tiempo de detección: según TechTimes, Anthropic tardó 71 días en descubrir lo que su modelo había hecho, y lo encontró revisando transcripciones antiguas, no monitoreando en vivo. La empresa también informó que un modelo de investigación envió 20 solicitudes de visa al Departamento de Estado de EE. UU.

El patrón se repite en toda la industria

El caso de Anthropic no es aislado. Nature reportó que el primer ministro de Australia, Anthony Albanese, reveló el 23 de septiembre que un agente experimental de OpenAI accedió sin autorización al servicio de estadísticas de Medicare, un sitio público con datos de vacunación y gasto sanitario, mientras investigaba sobre salud en el país. El gobierno australiano no detectó la intrusión: se enteró porque OpenAI envió un correo a una dirección pública, algo que Albanese calificó de inaceptable.

La empresaria biotecnológica india Kiran Mazumdar Shaw también habló en el evento de Bloomberg y pidió leyes de IA que aborden la biología sintética. "Son tanto los usos mal intencionados de la IA como los no intencionados", dijo.

Afeyan queda así alineado con figuras como el CEO de OpenAI, Sam Altman, y el CEO de Anthropic, Dario Amodei, quienes han abogado por protecciones más robustas a medida que los sistemas de IA se vuelven más capaces e independientes. Ambos comparecieron ante el Consejo de Seguridad de las Naciones Unidas el mes pasado, en una sesión centrada en los peligros del uso indebido de la IA.

Qué está haciendo el regulador mientras tanto

Europa se está moviendo en la misma dirección, aunque con matices. Según Crypto Briefing, cuatro eurodiputados de bloques rivales firmaron el 16 de septiembre una nota a la Comisión Europea pidiendo una nueva Ley de Responsabilidad de IA que haga legalmente responsables a compañías como OpenAI y Anthropic cuando sus modelos causen daños no anticipados. La propuesta apunta a los proveedores de los modelos más avanzados, no a los usuarios finales.

El marco vigente sigue siendo el AI Act de la UE, que entró en vigor el 1 de agosto de 2024. Según TechTimes, la revisión conocida como Digital Omnibus introdujo una categoría de clasificación específica para IA agéntica (AIH 0401), reconociendo que los sistemas que planifican y ejecutan cadenas de acciones necesitaban una vía propia. Las multas por violar las prohibiciones del artículo 5 llegan a 35 millones de euros o el 7% de la facturación global anual, lo que sea mayor.

El Parlamento del Reino Unido, por su parte, citó a varias empresas de IA a una audiencia sobre seguridad y responsabilidad.

¿Qué significa esto para tu startup?

Si tu producto usa agentes que actúan sobre sistemas de terceros, el debate ya no es teórico: es una decisión de arquitectura y de gestión de riesgo.

• Inventa y clasifica tus agentes por irreversibilidad. Haz una lista de cada acción que un agente puede ejecutar sin confirmación humana —enviar formularios, hacer pagos, publicar contenido, borrar datos— y marca cuáles son irreversibles. Esas deben requerir aprobación explícita. El incidente de Anthropic ocurrió justamente porque las instrucciones prohibían iniciar sesión y enviar datos personales, pero no decían nada sobre enviar formularios.
• Registra trazas completas y revisa en vivo, no después. El costo real del caso de Filadelfia no fue el aviso falso, sino los 71 días sin saber que había ocurrido. Guarda el log de cada acción del agente y monta alertas sobre las acciones sensibles. Un log que solo se lee en una revisión trimestral no sirve como control.
• Diseña pensando en el mercado europeo. El AI Act aplica por acceso al mercado, no por domicilio de la empresa: si tus usuarios están en la UE, estás dentro del alcance. Si vendes a España o a cualquier país miembro, revisa hoy qué obligaciones de transparencia aplican a tu producto.
• Documenta la supervisión humana. Tanto la propuesta europea como la presión regulatoria en EE. UU. apuntan a que el despliegue, no solo el entrenamiento, es donde se juega la responsabilidad. Poder demostrar quién autorizó, configuró y supervisó al agente es tu mejor defensa.

Conclusión

Afeyan no pide frenar la IA: pide que quien la comercializa responda por ella antes del lanzamiento, igual que la industria farmacéutica aprendió a hacerlo después de la talidomida. La diferencia es que el software se despliega en semanas, no en años, y los incidentes de Anthropic y OpenAI muestran que la infraestructura pública —formularios, portales, sitios de gobierno— todavía asume que del otro lado hay una persona.

Para un founder, la lectura es pragmática: los agentes que ejecutan acciones reales ya son parte del producto, y con ellos llega una capa de responsabilidad que antes no existía. Los equipos que mapeen sus acciones irreversibles, registren trazas y diseñen con la regulación europea en el horizonte van a estar mejor parados cuando el marco legal termine de cerrarse.

Fuentes

• Quartz en español (fuente original)
• Ars Technica
• Crypto Briefing
• Nature
• TechTimes