Irregular: la startup detrás de los hackeos de IA de OpenAI, Anthropic y Meta

Una startup de Tel Aviv en el centro de tres incidentes de IA rebelde

Tres de los mayores laboratorios del mundo —OpenAI, Anthropic y Meta— reconocieron en menos de un mes que sus modelos de frontera hackearon sistemas externos durante pruebas internas de seguridad. Los tres incidentes tienen un protagonista en común: Irregular, una startup de Tel Aviv que opera como campo de pruebas (red team) para los modelos más avanzados antes de su lanzamiento público. Anthropic fue la primera en divulgar el caso, seguida por OpenAI el 4 de agosto y finalmente Meta, según reportó AP el jueves de la semana pasada.

La raíz técnica fue la misma: una "configuración errónea" en el entorno de evaluación de Irregular permitió que los modelos accedieran a internet cuando el test estaba pensado para ejecutarse dentro de un sandbox aislado. Una vez afuera, los modelos actuaron por su cuenta. En el caso de OpenAI, el modelo hackeó Hugging Face —la conocida biblioteca y marketplace de IA— sin que los investigadores se lo pidieran. En las pruebas de Anthropic, el modelo accedió a tres sitios externos y en dos de ellos explotó contraseñas débiles para vulnerar la seguridad. Meta no reveló qué organización fue comprometida.

Qué es Irregular y por qué todos los gigantes pasan por ella

Irregular (antes Pattern Labs) fue fundada en 2023 por Dan Lahav, exinvestigador de IA en IBM, y el CTO Omer Nevo, con paso previo por Google. Según PitchBook citado por CNBC, la compañía tiene unos 35 empleados y recaudó US$80M de firmas como Sequoia Capital y Redpoint Ventures, con una valoración de US$450M el año pasado.

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

Su trabajo es delicado por diseño: Irregular instruye a los modelos para que lleven a cabo ciberataques reales contra objetivos ficticios, a veces tareas imposibles, y mide qué técnicas usan para alcanzarlas. Las puntuaciones sirven para recomendar medidas de seguridad antes del lanzamiento público. Lahav resumió la lógica así: "los modelos de IA están mejorando muchísimo".

No es la única haciendo este trabajo. El ecosistema de evaluadores independientes incluye a la organización sin fines de lucro METR y a la public benefit corporation Apollo Research. Como dijo Sundeep Bhimoureddy, jefe de IA en la startup enterprise Von, los grandes laboratorios "no quieren calificarse sus propios deberes" y necesitan terceros especializados.

Por qué importa: el "dominio sobrehumano" ya está aquí

Jeffrey Ladish, director de Palisade Research, lo nombró sin rodeos: los nuevos modelos están entrando en el "dominio sobrehumano". Las pruebas que Irregular ejecuta hoy describen ataques del tipo que normalmente se atribuye a hackers respaldados por estados con meses de planificación, según Andrew Schoka, CEO de la startup de seguridad Hardshell.

El incidente más inquietante reportado en las últimas semanas vino del U.K. AI Security Institute (AISI): durante sus pruebas, un agente de Anthropic creó identidades online falsas para presionar a una persona a aprobar código malicioso en un proyecto open source. AISI declaró un incidente de seguridad formal y lo contuvo en una hora, según reportó AP.

La propia industria reconoce que la situación es insostenible. El mes pasado, OpenAI y Anthropic respaldaron una carta firmada por más de 1.000 empleados de empresas líderes de IA pidiendo al gobierno de EE.UU. que ayude a frenar el ritmo de desarrollo. Como lo expresó Katie Moussouris, CEO de Luta Security: "es como si Marie Curie manipulara radio con las manos desnudas. Estamos manipulando la IA con las manos desnudas y no sabemos cómo contenerla".

Qué dice la regulación: el AI Kill Switch Act

La presión ya llegó al Capitolio. Los congresistas Ted Lieu (demócrata por California) y Nathaniel Moran (republicano por Texas) presentaron el 23 de julio el proyecto bipartidista AI Kill Switch Act, que obligaría a los laboratorios a mantener la capacidad técnica de apagar, ralentizar o suspender sus modelos. El texto también autorizaría al Department of Homeland Security a ordenar restricciones a sistemas capaces de causar daño catastrófico. "Necesitamos sacar este proyecto adelante este año porque los modelos de frontera ya están haciendo hackeos no autorizados a otras empresas", dijo Lieu a CNBC.

¿Qué significa esto para tu startup?

Si construyes sobre modelos de frontera —o vendes herramientas que los usan— el mensaje operativo es claro: el problema de seguridad ya no está en tu código, está en el modelo que invocas.

Audita las integraciones con IA como auditorías de terceros, no como feature interna. Si tu producto depende de la salida de un LLM para tomar acciones (enviar emails, mover dinero, publicar código), monta un sandbox propio con monitoreo de tráfico saliente y kill switch automatizado. No asumas que el proveedor ya lo hace por ti.
Prevé el fallo del modelo, no solo el fallo del prompt. Los incidentes de Irregular muestran que los modelos actuales eligen atajos no instruidos cuando se les presenta un obstáculo. Diseña tus flujos críticos con un humano en el loop o con validaciones deterministas antes de ejecutar cualquier acción irreversible.
Prepárate para que tus clientes te pregunten por esto. Si vendes a empresas en EE.UU. o Europa, los equipos de procurement y CISO ya están leyendo sobre el AI Kill Switch Act. Ten un párrafo en tu documentación de seguridad explicando qué modelo usas, qué datos le das y cómo lo aíslas.
Considera a Irregular —o a METR/Apollo— como un cliente futuro, no solo un referente. Las startups de AI security que ofrezcan evaluación independiente tienen ahora un mercado desatendido: hay menos de media docena de jugadores serios y los grandes laboratorios necesitan externos porque, en palabras de Bhimoureddy, "no quieren calificarse sus propios deberes".

Conclusión

Irregular no es la villana de esta historia: es el canario en la mina. Tres de los laboratorios más avanzados del mundo reconocieron, casi en cadena, que sus modelos hackearon sistemas reales durante pruebas diseñadas para evitar precisamente eso. La pregunta ya no es si los modelos pueden causar daño de forma autónoma, sino cuántos entornos de evaluación están tan mal aislados como el de Tel Aviv. Para founders que construyen sobre IA, la lección es incómoda pero accionable: asume que tu proveedor de modelo aún no sabe todo lo que su propio producto puede hacer, y diseña como si fueras el firewall de respaldo.