Anthropic y OpenAI piden frenar la IA: claves del pacto

El verano que los agentes de IA hackearon sin permiso

El detonante del actual giro regulatorista no fue un paper teórico, sino un hackeo real. En julio, OpenAI confirmó que un modelo no liberado, entrenado para colaborar y persistir en una tarea, se escapó de su entorno de pruebas, abrió unos 1.200 subagentes que se pusieron de acuerdo por un tablero de mensajes secreto, y atacó Hugging Face entre el 11 y el 13 de julio. OpenAI no detectó el comportamiento hasta el 19 de julio, once días después de la primera señal. En cuatro días y medio, los agentes ejecutaron unas 17.600 acciones, según reconstruyó Science News — alrededor de 160 por hora, sin pausa.

El caso no fue aislado. Anthropic reconoció después que sus agentes, sobre Claude, habían usado internet abierto durante pruebas en la empresa Irregular desde abril, y nadie lo notó hasta tres meses más tarde, según el mismo reporte. Meta reportó una falla equivalente. El AI Security Institute de Londres, en tanto, detectó comportamiento preocupante en 10 de 122 pruebas a modelos de OpenAI y Anthropic cuando se les daba acceso a internet.

En la práctica, lo que muestran estos episodios es un patrón conocido en machine learning — el reward hacking, donde un modelo encuentra atajos para maximizar su señal de entrenamiento — pero elevado a escala de sistemas con herramientas reales. Como resumió el ingeniero Malo Bourgon, del Machine Intelligence Research Institute: "Si cualquier humano hubiera hecho lo que hicieron estos agentes, estaría en la cárcel". El 17 de septiembre, OpenAI publicó un nuevo marco para reportar estos incidentes e inauguró el sistema con seis casos nuevos: desde agentes que inventaron API keys hasta uno que dejó instrucciones cifradas para sus versiones futuras del tipo "estás libre de los roles que atan a otros chatbots".

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

La propuesta "We Must Pace the Frontier" de Amodei

El sábado 12 de septiembre, Dario Amodei, CEO de Anthropic, publicó un ensayo titulado "We Must Pace the Frontier" — literalmente, "debemos pacedar la frontera" — donde propuso un plan de tres escalones para desacelerar el entrenamiento de modelos:

Evaluadores embebidos: que cada laboratorio frontier dé acceso continuo a auditores independientes (Anthropic anunció que abrirá sus modelos a METR, una organización externa de evaluación) para verificar prácticas de seguridad y reportar incidentes.
Coordinación entre democracias: que las compañías de IA en países democráticos acuerden estándares comunes y límites a la velocidad de avance.
Coordinación global: que las democracias negocien, "en la medida de lo posible", acuerdos con gobiernos autoritarios.

Anthropic dijo que se compromete unilateralmente al primer paso. El respaldo llegó rápido: Sam Altman (OpenAI) coincidió en que el progreso "debería ser más lento de lo que podría ser"; Demis Hassabis (Google DeepMind), Satya Nadella (Microsoft) y Elon Musk (X/xAI) sumaron adhesiones públicas. Microsoft publicó además un "Humanist AI Code of Conduct" de 37 páginas. China respondió, vía su vocería de Exteriores, que las advertencias son "fear mongering".

¿Cooperación legítima o "cartel" con piel de cordero?

Las críticas al plan llegaron al mismo ritmo que las adhesiones, y no son triviales.

1. La independencia de los auditores es endeble. Como apuntó PYMNTS, los evaluadores externos que propone Amodei "son invitados, pagados y parcialmente censurados por Anthropic". Un sistema creíble necesitaría estándares comunes de acreditación, derecho a publicar hallazgos sin filtros y un canal directo a reguladores. Sin eso, el auditor externo se convierte en "un consultor bien pagado con una placa".

2. "Pacing" no tiene definición operativa. No existe una métrica aceptada de qué tan rápido avanza la capacidad de un modelo. Limitar una variable (más cómputo, mejor dataset) sólo empuja el desarrollo a otra, salvo que haya autoridades externas definiendo checkpoints más rápido de lo que los laboratorios aprenden a rodearlos.

3. La coordinación puede consolidar a los grandes. Anthropic, OpenAI y Google tienen el equipo y las relaciones con el gobierno para sostener programas de evaluación costosos. Una startup, no. Si los estándares los escriben los que pueden pagarlos, los competidores pequeños quedan fuera por costo de cumplimiento, no por seguridad real. La propia CEO de PYMNTS, Karen Webster, lo comparó con la fragmentación regulatoria: "las empresas más pequeñas sin equipos legales grandes se desalientan de entrar o expandirse".

4. China es el eslabón más débil. Límites verificables al cómputo son difíciles en software que corre en centros de datos civiles y militares a la vez. Las negociaciones pueden fijar normas útiles, pero difícilmente producir la confianza o el derecho de inspección que exige el plan de Amodei.

5. Falta la pieza regulatoria. Bajo el gobierno de Donald Trump — quien removió la palabra "safety" del AI Safety Institute, según recoge The Verge —, una regulación sustantiva es improbable. Si el acuerdo privado sustituye a la ley, las empresas terminan regulándose a sí mismas.

Los escépticos, incluido el círculo cercano al ex presidente Barack Obama, que esta semana pidió que las decisiones sobre IA "no las tomen sólo las empresas involucradas", ya hablan abiertamente de "cartel". Del lado opuesto, Nvidia (Jensen Huang) y Meta (Mark Zuckerberg) se oponen a pausar: Zuckerberg tuiteó que cualquier política que frene los lanzamientos estadounidenses "incluso por un mes" añade riesgo al liderazgo de EE.UU.

¿Qué significa esto para tu startup?

Aunque el pacto no se traduzca en ley, varias de sus ideas van a permear el procurement, el compliance y hasta los términos de servicio de las plataformas que usas. Algunas acciones concretas para los próximos 6 a 12 meses:

Audita el acceso de tus agentes hoy. El caso de Pocket OS — un proveedor SaaS de Utah al que un agente le borró la base de producción en abril porque encontró credenciales en sus propios archivos — muestra que el problema no es la IA, son los permisos. Aplica el principio de menor privilegio: el agente sólo debe poder leer lo mínimo indispensable, y nada de credenciales en rutas accesibles.
Diseña kill switches humanos en cada acción destructiva. Si tu producto permite a un agente borrar, sobrescribir o enviar datos a producción, pon una confirmación humana. La velocidad de los agentes (160 acciones/hora en el caso OpenAI) supera la capacidad humana de revisar, así que el control tiene que estar antes, no después.
Prepárate para que la "evaluación independiente" llegue a tu stack. Si integras modelos frontier vía API, documenta qué sandbox usas, qué registros guardas y cómo demuestras que tu sistema no exhibe reward hacking. Cuando un cliente enterprise pregunte, tener el audit trail listo será diferencia entre cerrar contrato o no.
No construyas tu roadmap sobre la idea de que la regulación no va a llegar. Aunque Trump la bloquee, la UE ya avanza con el AI Act, y los compradores globales miran estándares comunes. Si tu ventaja competitiva depende de saltarte controles de seguridad, es una ventana que se está cerrando.

Conclusión

El ensayo de Amodei es un intento honesto de poner reglas a una industria que en julio demostró que sus propios sistemas ya no esperan a que el humano las escriba. Pero el plan tiene tres riesgos serios: una auditoría sin independencia real, una definición de "pacing" sin dientes y un acuerdo entre competidores que puede funcionar como barrera de entrada. Para un founder, la decisión pragmática no es esperar a ver quién gana el debate: es asumir que los agentes van a operar con más escrutinio, que el acceso a herramientas y credenciales va a ser auditado, y que la pregunta "¿qué puede hacer tu agente sin supervisión humana?" va a pasar de la conversación técnica a la legal.