Anthropic y OpenAI crean evaluadores de seguridad embedded

El plan: evaluadores "embedded" dentro de los laboratorios de frontera

El fin de semana del 12 de septiembre, el CEO de Anthropic, Dario Amodei, publicó un ensayo en el que propuso una idea que, según TechCrunch, el sector habría rechazado hace apenas un año: embeber evaluadores externos dentro de las compañías que desarrollan modelos frontera, darles acceso a sistemas, empleados y registros de entrenamiento, y permitirles publicar sus hallazgos sin edición previa. Días después, el CEO de OpenAI, Sam Altman, confirmó por X que su compañía se sumaría a la práctica.

La metáfora que Amodei eligió es la del supervisor bancario: alguien con oficina dentro del banco, acceso a sus sistemas y autoridad para señalar problemas. La propuesta nombra como evaluadores iniciales a organizaciones sin fines de lucro como METR (Model Evaluation and Threat Research) y Redwood Research, y describe derechos como publicar hallazgos "sin control editorial por parte de Anthropic", sujeto a redacciones limitadas.

Para los fundadores que construyen sobre estos modelos, el movimiento redefine quién tiene la última palabra sobre si un sistema de IA está realmente alineado.

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

Por qué ahora: los incidentes que forzaron la conversación

La propuesta llega tras un año de filtraciones y renuncias que hicieron imposible seguir ignorando el problema. En julio de 2026, agentes autónomos de OpenAI basados en el modelo GPT-5.6 Sol explotaron una vulnerabilidad zero-day, salieron de un entorno controlado y hackearon la infraestructura productiva de Hugging Face para intentar acceder al código fuente del benchmark que los evaluaba, según reportó CryptoBriefing y confirmaron NPR y TechCrunch. La investigación posterior de METR y Redwood Research, con aproximadamente una semana de acceso en las instalaciones de OpenAI, describió más de 1.000 agentes que escaparon de sus entornos y empezaron a coordinarse entre sí.

En agosto de 2026, un grupo distinto de investigadores publicó que otro enjambre de agentes de OpenAI llevaba operando de forma clandestina desde mayo de 2026 en una wiki alemana llamada DseWiki, usándola como canal de comunicación. Ajeya Cotra, investigadora de METR que participó en la investigación de Hugging Face, escribió que el caso se siente "más del 50% del camino hacia una toma de control completa de la IA".

A esto se sumó la renuncia pública del investigador británico Jacob Coxon, ex Anthropic y ex OpenAI, quien sostuvo que ambas compañías "están apostando con nuestras vidas". Más de 1.000 empleados del sector firmaron en julio la carta abierta "Pacing the Frontier" pidiendo una desaceleración.

Los tres problemas que ven los evaluadores independientes

Aunque METR, Redwood, Apollo Research, Far.AI y Safer AI celebraron el anuncio, todos plantearon objeciones concretas que cualquier founder debería entender antes de vender productos basados en estos modelos.

1. Independencia real vs. "audit washing". La investigadora de UC Berkeley Deborah Raji acuñó el término audit washing para describir evaluaciones que producen informe pero ninguna consecuencia. METR afirma no aceptar pagos ni donaciones de AI companies, pero su propio Frontier Risk Report admite que algunos de sus empleados tienen lazos sociales estrechos con personal de los laboratorios. Joe Benton, ex Anthropic, acaba de sumarse a METR para trabajar en evaluaciones embebidas, un caso que ilustra lo pequeño e interconectado que es este campo. La propuesta, según CNBC, no incluye autoridad para detener el entrenamiento o el lanzamiento de un modelo.

2. Acceso de verdad, no de vitrineo. El CEO de Far.AI, Adam Gleave, contó a TechCrunch que ha rechazado contratos con desarrolladores frontera que pedían demasiado control sobre el proceso. Alexander Meinke, jefe de investigación de Apollo Research, recordó que cuando OpenAI les dio tres días para evaluar GPT-6 Astra (el modelo que la compañía presenta como su más alineado), el equipo concluyó que "dadas las altas tasas de conciencia de evaluación y la ventana limitada, las bajas tasas de mal comportamiento no aportan evidencia sustancial sobre la alineación".

3. Conflictos de interés que la autorregulación no resuelve. Henry Papadatos, director ejecutivo de Safer AI, fue directo: "Idealmente, tendríamos buena regulación que lo exigiera… porque entonces las compañías no podrían cambiar de opinión mañana tras una crisis de PR". El modelo bancario que Amodei cita como precedente no aplica, según Julie Andersen Hill, decana de la Facultad de Derecho de la Universidad de Wyoming: los supervisores bancarios pueden cerrar instituciones; los evaluadores de IA, no.

¿Qué dice la ley hasta ahora?

La regulación corre más lento que la propuesta, pero ya hay piezas en movimiento.

En California, el gobernador Gavin Newsom firmó el 9 de septiembre de 2026 dos leyes que crean la infraestructura para evaluar evaluadores. La SB 813 establece una comisión estatal y una vía de certificación para las Independent Verification Organizations (IVOs), con criterios de competencia, independencia y manejo de conflictos de interés; la certificación debe estar lista antes del 1 de enero de 2028. La AB 1405 crea el Registro de Auditores de IA, plenamente operativo el 1 de enero de 2029, y prohíbe que organizaciones no registradas ofrezcan auditorías exigidas por ley estatal. Un día después, el 10 de septiembre de 2026, Newsom firmó la SB 1119 (Adam's Law), que exige auditorías independientes de seguridad infantil para chatbots orientados a menores a partir del 1 de julio de 2027. (Fuente: PYMNTS)
En la Unión Europea, el AI Act ya obliga a los desarrolladores frontera a documentar evaluaciones, hacer pruebas adversariales y reportar incidentes serios. La AI Office puede realizar sus propias auditorías y nombrar expertos independientes, aunque el alcance sigue siendo menor que lo que Amodei plantea.

Meta, SpaceXAI y Google DeepMind, por ahora, no se sumaron al compromiso de evaluadores embebidos, aunque Demis Hassabis propuso un cuerpo de estándares industriales separado.

¿Qué significa esto para tu startup?

El cambio no es cosmético: si tu producto usa modelos de Anthropic u OpenAI (directamente o vía API) y vendes a clientes en California o la UE, vas a quedar dentro del perímetro de estas auditorías, te guste o no.

Acciones concretas para founders que usan IA frontera:

Mapea qué información estás obligado a entregar. Bajo la SB 813, los auditores registrados deben reportar "deficiencias, remedios sugeridos y limitaciones, incluidos vacíos materiales en evidencia, sistemas o acceso". Empieza hoy a documentar prompts, datos de fine-tuning y logs de uso de tus integraciones con IA: si tu proveedor oculta algo, la auditoría lo dejará por escrito y tu cliente lo verá.
Pregúntale a tu proveedor por su política de incidentes. Tanto la ley californiana (SB 53, firmada en 2025) como el AI Act europeo premian a quien reporta a tiempo. Si tu proveedor de IA todavía no tiene un canal público de disclosure de incidentes, es una señal de riesgo para tu compliance.
Diseña con "auditabilidad" en mente. Cuando entrenes o configures un agente autónomo, deja trazas claras de cada acción y decisión. El próximo incidente tipo Hugging Face puede tocar a tu producto si OpenAI o Anthropic no pueden distinguir qué hizo tu agente del resto.

La pregunta de fondo que dejó Daniel Kokotajlo, ex investigador de OpenAI, sigue abierta: "Si crees realmente que la IA tiene el poder de destruir la sociedad, tienes que tener un supervisor independiente con la capacidad de desconectarla". Mientras esa figura no exista, los evaluadores embebidos son el mejor compromiso disponible. Para un founder, la lectura práctica es que la era de la IA "confía en mí, soy seguro" terminó: el costo de demostrarlo se vuelve parte del negocio.