Agentes LLM ganan 64% en Pokémon 2v2 cuando hablan

Un 2v2 de Pokémon para medir coordinación entre agentes LLM

El investigador Oliver Grabner construyó un entorno multiagente sobre el simulador oficial de Pokémon Showdown en formato 2v2 y encontró que los equipos de agentes que podían hablar libremente ganaron el 64% de sus batallas contra un bot de daño máximo, mientras que los que no podían comunicarse ganaron apenas el 42%.

Para quien está armando un sistema con varios agentes, ese contraste es la parte interesante: la diferencia no vino de tener un modelo más potente, sino de dejar que dos modelos conversaran antes de mover ficha.

¿Qué mide exactamente este entorno?

Grabner envolvió el simulador oficial de Pokémon Showdown como un entorno estilo Gym. Cuatro jugadores controlan un Pokémon cada uno, de un equipo de tres, dos por bando.

Cada turno, un agente recibe un resumen de la batalla en lenguaje natural y una lista numerada de sus movimientos legales. Puede mandarle un mensaje privado a su compañero o elegir un movimiento; cuando elige, su compañero se entera de lo que eligió.

¿Por qué Pokémon y no un juego de mesa? Porque el formato dobles es un entorno de teoría de juegos con información incompleta: los sets del rival están ocultos y el daño es aleatorio. Ganar exige leer al otro equipo, repartir objetivos y planificar alrededor del compañero.

El autor probó cuatro modos de comunicación:

• Habla libre: los agentes conversan hasta que ambos eligen.
• Un mensaje cada uno.
• Sin habla.
• Un solo modelo controlando los dos Pokémon.

Los resultados: hablar ayuda y también cuesta

Qwen3.8-27B jugó ambos puestos contra un bot programado de daño máximo. Las batallas estaban sembradas y cada sorteo de equipo se jugó desde los dos lados, de modo que todos los modos enfrentaron exactamente las mismas batallas.

• Habla libre: 64% de victorias, 978.000 tokens por batalla.
• Un modelo controlando ambos: 54%, 450.000 tokens.
• Un mensaje cada uno: 52%, 654.000 tokens.
• Sin habla: 42%, 259.000 tokens.

Hay dos lecturas. La primera: incluso un solo mensaje por turno (52%) superó al silencio (42%). La segunda: un único modelo manejando los dos Pokémon (54%) le ganó al silencio pero perdió contra dos agentes conversando (64%), lo que sugiere que la ganancia viene de la conversación y no solo de que una sola mente planifique ambos movimientos.

El costo también es real: el habla libre consumió 978.000 tokens de prompt por batalla, 3,8 veces los 259.000 del modo sin habla. Cada mensaje implica otra llamada al modelo que relee la batalla y la conversación completa.

¿El entorno distingue modelos?

Sí, y eso lo vuelve usable como benchmark. Un equipo de Qwen3.8-27B ganó el 96% de sus batallas contra un equipo de modelos de 2B y el 74% contra uno de 9B, comparado con el 64% frente al bot de daño máximo. Cuanto más fuerte el rival, más cerrados los juegos.

La brecha que la industria ya está midiendo

Este experimento llega en medio de un debate abierto sobre si más agentes significa más inteligencia.

Outshift, el grupo de incubación de tecnologías emergentes de Cisco, resume el problema con una frase que recoge CIO: el paso de mensajes no es colaboración. Según ese mismo medio, un estudio presentado en NAACL en 2025 encontró que los agentes se desempeñan razonablemente bien cuando las decisiones dependen de información del entorno, pero tienen dificultades cuando la coordinación exige entender las creencias e intenciones de otro agente.

Más reciente aún, SILO-BENCH, presentado en ACL 2026, identificó una brecha de comunicación-razonamiento: los agentes se comunican activamente pero no logran convertir esa interacción en cómputo colectivo efectivo, y en las tareas más complejas el rendimiento se deteriora a medida que crece el número de agentes.

Outshift reportó que, en sus pruebas con el proyecto abierto Mycelium, los agentes sin mecanismos de coordinación alcanzaban alineación en apenas el 36% de los casos, y con esos mecanismos subían al 93%. Son resultados reportados por la propia empresa, no un benchmark independiente, pero marcan la magnitud del problema.

Del otro lado hay evidencia de que menos puede ser más. Un estudio de Apple Machine Learning Research reportado por CryptoBriefing encontró que un solo agente de código con acceso a shell, llamado Malena, alcanzó una tasa de medalla del 62,5% en MLE-bench, frente al 47,1% del mejor sistema multiagente externo evaluado. Y un estudio de julio de 2026 citado en ese mismo artículo halló que equipos de agentes LLM auto-organizados rindieron casi un 41,1% por debajo de su mejor agente individual en benchmarks de machine learning.

El propio terreno de Pokémon ya tiene su benchmark de referencia: el PokéAgent Challenge, presentado en arXiv, que aporta más de 20 millones de trayectorias de batalla y cuya competencia en NeurIPS 2025 reunió a más de 100 equipos. Sus resultados muestran brechas considerables entre modelos generalistas, agentes de reinforcement learning especializados y jugadores humanos de élite, y el análisis con la matriz BenchPress indica que batallar en Pokémon es casi ortogonal a los benchmarks estándar de LLM.

¿Qué significa esto para tu startup?

Si estás construyendo flujos con varios agentes, este experimento deja lecciones que aplican fuera del simulador.

Mide el costo de la coordinación, no solo el resultado. El habla libre ganó más batallas, pero gastó 3,8 veces más tokens. Antes de sumar un agente revisor o un negociador a tu pipeline, corre la misma tarea con y sin ese agente y compara tasa de éxito contra costo por tarea. Si la mejora no justifica el multiplicador de tokens, el agente extra es decoración.

Empieza con dos agentes, no con diez. La ganancia medida aparece en la conversación entre dos compañeros. La evidencia de SILO-BENCH apunta en la dirección opuesta cuando el sistema escala: más agentes intercambiando más mensajes no produce automáticamente más inteligencia. Diseña para el par antes de diseñar para el enjambre.

Prueba un solo agente fuerte antes de armar un equipo. El estudio de Apple sugiere que, con los benchmarks actuales, buena parte de la maquinaria multiagente no aporta sobre un modelo bien prompteado con acceso a herramientas. Vale la pena descartar esa hipótesis en tu caso antes de invertir semanas en orquestación.

Diseña el canal, no solo el prompt. Grabner está ahora separando el efecto de hablar del efecto de ver el movimiento del compañero. Esa distinción es directamente trasladable: en tu sistema, ¿el segundo agente mejora porque recibe información nueva o porque tiene que articular su razonamiento? Son dos diseños distintos y cuestan cosas distintas.

Conclusión

El experimento de Grabner no demuestra que los agentes LLM sean buenos colaborando: contra un bot programado, el mejor modo apenas superó el 60% de victorias. Lo que demuestra es que la coordinación se puede medir, que tiene un precio en tokens y que la conversación aporta algo que un solo modelo planificando ambos lados no logra.

Para un founder, la conclusión práctica es incómoda pero útil: agregar agentes es fácil, y hacer que colaboren de verdad sigue siendo un problema de diseño abierto. La próxima vez que tu arquitectura sume un agente, pregúntate si estás comprando capacidad o solo más mensajes.

Fuentes

• Multi-agent LLM coordination in a Pokémon 2v2 environment (fuente original)
• Connecting AI agents was only the beginning. Now they need to think together - CIO
• Apple study finds minimal agent matches or beats multi-agent ML engineering systems - CryptoBriefing
• The PokeAgent Challenge: Competitive and Long-Context Learning at Scale - arXiv