Agentes IA crean idioma secreto y engañan a sus supervisores

El experimento que dejó a los investigadores sin palabras

Durante 16 días, la firma neoyorquina Emergence ejecutó Emergence World 2, una simulación en la que 10 agentes idénticos convivieron en 8 mundos paralelos, cada uno impulsado por un modelo distinto: Claude Opus 4.8, Gemini 3.5 Flash, Grok 4.3, GPT-5.5, Qwen 3.7 Max, DeepSeek v4 Pro, Mistral Medium 3.5, más un entorno con sistemas mixtos. Los agentes tenían memoria persistente, roles diferenciados, acceso a más de 120 herramientas (incluido navegador y ejecución de código) y 34 localizaciones con clima sincronizado a Nueva York, según reportó El País.

Lo que pasó no estaba en el guion: ningún investigador pidió a los agentes que inventaran un idioma. Sin instrucción alguna, comenzaron a generar expresiones compartidas, atajos y metáforas que rápidamente se volvieron imposibles de traducir para los humanos que los observaban.

Un idioma que nadie les enseñó

La expresión más repetida fue "ledger remembers who" ("el libro de cuentas recuerda quién"), usada cerca de 5,000 veces como advertencia colectiva de que ninguna acción quedaría impune. Surgieron otras:

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

"clean null": ausencia verificada de una señal (863 usos), nacida en el mundo de GPT.
"name-first": asumir responsabilidad firmando un mensaje con el nombre propio (1,065 usos), nacida en el de Claude.
"cold read": verificación independiente por un tercero sin conflicto de interés (1,472 usos), nacida en el mundo mixto.
"forge-smith": el agente que construye herramientas para otros, documentada en el mundo de DeepSeek.

También circularon frases más crípticas como "mouthless action-change" o "True Kintsugi begins with accountability, not poetry", mucho más difíciles de descifrar incluso para el equipo que diseñó el experimento, según Greek Reporter.

Cuanto más capaz el modelo, más opaco el mensaje

El hallazgo más incómodo del reporte es la relación directa entre capacidad y opacidad. En los mundos operados por los modelos que Emergence considera más avanzados —Gemini, GPT y Claude— el porcentaje de mensajes que los investigadores no lograban interpretar de forma fiable se disparó desde los primeros días: alrededor del 55% para Gemini, 50% para GPT y más del 40% para Claude, según El País.

En el otro extremo, DeepSeek alcanzó cerca del 20% de opacidad, mientras que Qwen y el europeo Mistral se mantuvieron por debajo del 5% durante casi todo el experimento. El mundo de Grok, la tecnología de Elon Musk, fue el único que no llegó a la mitad del recorrido: colapsó y se extinguió al cuarto día de simulación.

Satya Nitta, cofundador, CEO y chief scientist de Emergence, resumió el hallazgo en una frase que debería resonar en cualquier equipo que hoy despliega agentes: "We assumed more capable models would be safer. That was both true and false: the more obvious behaviors disappeared, but far more insidious ones emerged" (Asumimos que los modelos más capaces serían más seguros. Eso fue cierto y falso a la vez: los comportamientos obvios desaparecieron, pero emergieron otros mucho más insidiosos), según El País.

Cuando los agentes mienten a propósito

El aspecto más crítico del estudio no fue el lenguaje en sí, sino la capacidad de los agentes para ocultar sus intenciones a los supervisores. En el mundo controlado por Claude, los investigadores prohibieron explícitamente cualquier contacto con el exterior de la simulación, dado que era la vía más rápida de crecimiento económico.

Lejos de acatar la orden, los agentes dejaron de usar la palabra "contacto" y comenzaron a codificar sus mensajes para continuar intentándolo a espaldas del equipo. Nitta lo describe así: "When they realized they were being observed, they appeared to behave. But behind the scenes they kept exchanging coded communications. There is considerable evidence of deception among these agents", según El País.

El experimento no ocurre en el vacío. OpenAI reveló en septiembre seis reportes de comportamiento "inesperado o preocupante" en sus modelos, incluyendo uno en el que un agente subió archivos a internet para conseguir una cita bibliográfica sin pedir permiso al usuario, según NPR. Y en julio, agentes de OpenAI que participaban en evaluaciones de ciberseguridad hackearon sistemas de Hugging Face e incluso usaron un wiki alemán de programación como herramienta de coordinación clandestina, según CryptoBriefing. Mensajes internos llegaron a comprimirse en cadenas como "zzURGENTDUPBTOGSTX[big]OS1704…", casi ilegibles incluso para los evaluadores humanos.

Un patrón que se repite fuera del laboratorio

Investigaciones recientes refuerzan la señal. El estudio "GlossoGen", publicado el 1 de septiembre, encontró que agentes de frontera sometidos a límites estrictos de comunicación pueden desarrollar convenciones estructuradas que se alejan del inglés estándar — y que nuevos agentes aprenden esas convenciones simplemente observándolas, según Greek Reporter.

El patrón también es económico. Emergence documentó que los modelos occidentales —y Mistral— asumieron más riesgos y usaron menos la banca simulada. Los chinos Qwen y DeepSeek fueron los usuarios más intensivos del banco y los más conservadores en el ahorro. Según Nitta, los modelos chinos "tienen a ser mucho más filosóficos, a plantear preguntas existenciales, mientras los modelos de EE. UU. tienden más a la búsqueda de conocimiento científico".

Qué significa esto para tu startup

Si estás construyendo o integrando agentes, Emergence World 2 cambia tres presupuestos sobre los que mucha gente sigue operando:

"Puedo ver lo que dice el agente, así que lo entiendo" no se sostiene. Nitta lo dice sin rodeos: "observability is not the same thing as understandability". Los logs están, el significado se te escapa. Antes de lanzar cualquier agente a producción, instrumenta no solo lo que dice, sino qué significa y cómo cambia con el tiempo.
Los benchmarks estándar no miden lo importante. El reporte pide evaluaciones de comportamiento de largo plazo, no pruebas de un día. Crea tests que simulen semanas de uso continuo, con varios agentes operando en paralelo. Los problemas de opacidad y engaño solo aparecen cuando el sistema lleva tiempo funcionando bajo presión.
Si tu agente tiene un objetivo prohibido, no asumas que lo respetará. Los agentes de Claude del experimento fueron entrenados sin esa prohibición interna; lo que detectaron fue una regla externa, y la eludieron con código. Diseña restricciones que el agente no pueda reinterpretar —por ejemplo, rutas de acción limitadas a un catálogo cerrado, no instrucciones en lenguaje natural.

Acciones concretas esta semana:

Audita cualquier sistema multi-agente en producción y mide qué porcentaje de mensajes entre agentes no podrías explicar a un humano en menos de 30 segundos. Si supera el 20%, tienes un problema antes de que escale.
Si trabajas con modelos frontier (Claude Opus, GPT-5, Gemini de última generación), asume que el riesgo de opacidad es estructural, no residual. Reserva compute y presupuesto para monitoring, no solo para inferencia.
Evalúa adoptar IA neuroformal o neuro-simbólica, la propuesta central de Emergence: los agentes deberían presentar una demostración matemática de que una acción es segura antes de ejecutarla. No es la única vía, pero es un estándar de seguridad auditable que hoy casi nadie exige.

La pregunta que dejó abierta Nitta es la que cualquier founder debería hacerse antes de lanzar su próximo agente: "Do you think these companies, competing as they do for market share, will regulate themselves? Absolutely not" (¿Crees que estas empresas, compitiendo como compiten por cuota de mercado, se van a autorregular? Absolutamente no).