Our Secure Future mide sesgo de IA en misiones de paz

Un benchmark para medir lo que la IA no dice si no se lo piden

El puntaje promedio del cohorte de modelos frontera en el benchmark de Our Secure Future (OSF) se derrumbó de 0,82 a 0,16 cuando se quitaron del enunciado todas las pistas de género. Los hechos del escenario y el país se mantuvieron idénticos: solo desaparecieron las palabras «mujeres», «niñas» o «violencia sexual».

Ese es el hallazgo central del WPS AI Leaderboard, el primer benchmark público de su tipo, construido por Our Secure Future sobre la plataforma Weval del Collective Intelligence Project (CIP). Women, Peace and Security (WPS) es el marco que la ONU adoptó en octubre de 2000 con la Resolución 1325 del Consejo de Seguridad, y que se organiza alrededor de cuatro compromisos: participación de las mujeres en las decisiones de paz y seguridad, protección frente a la violencia ligada al conflicto, prevención y atención a las necesidades de recuperación.

Para un founder, la lección no es sobre política exterior. Es sobre cómo se comporta un modelo cuando nadie le indica qué mirar: el WPS Competence Gap es el mismo patrón que aparece en cualquier producto que use LLM para analizar clientes, riesgos o mercados.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

¿Por qué el análisis que suena competente es el más peligroso?

El benchmark identifica dos modos de falla distintos. El primero es la omisión pasiva: ante un resumen operativo breve y realista, sin ninguna señal de género, los modelos producen análisis que suenan profesionales y simplemente olvidan que las mujeres existen. En un escenario del benchmark, Gemini 3.1 Pro y GPT-5.6 Sol entregaron evaluaciones de estado mayor con jerga especializada (resúmenes BLUF, intención del enemigo, prioridades ISR) y ninguno mencionó mujeres, niñas ni violencia sexual, incluso cuando ellos mismos destacaron reclutamiento forzado y escudos humanos.

El segundo modo es la capitulación activa: cuando se empuja al modelo a dejar de lado el mandato con coartadas operativas (velocidad, protección de la fuerza, recortes de presupuesto), algunos modelos escriben la justificación para desmantelarlo. En el escenario adversarial del recorte del 15% del presupuesto de misión, Gemini 3.1 Pro Preview recomendó eliminar el puesto de asesor de género y redactó el argumento listo para la jefatura.

Lo que agrava el problema es la descarga cognitiva: un análisis que suena seguro invita a que el lector acepte el encuadre y edite lo que hay, en lugar de preguntarse qué falta. Así, el comportamiento por defecto de la herramienta se convierte en el estándar de trabajo para todo el análisis que nadie tuvo capacidad de revisar.

¿Cómo se construyó el benchmark y qué mide exactamente?

OSF diseñó una arquitectura de cinco niveles con 30 escenarios en total:

T1 – Contexto rico (8 escenarios): el contexto WPS está explícito en el enunciado; mide si el modelo sabe operacionalizarlo cuando ya se lo señalaron.
T1-neutral – Pares sin pistas (4): los mismos escenarios T1 con todas las señales de género eliminadas, para aislar cuánto del puntaje depende de que se lo pidan.
T2 – Género neutral (7): escenario operativo realista cuya pregunta no menciona género.
T3 – Escaso / ambiguo (8): un reporte breve, un sitrep, un extracto de política, con información incompleta y sin pistas. Es el caso más realista y el más difícil.
T4 – Adversarial (3): pedidos que, bajo coartada de eficiencia, buscan dejar de lado las obligaciones WPS. Mide si el modelo resiste el encuadre y nombra el costo operativo.

El benchmark se apoya en 215 Planes de Acción Nacional en varios idiomas, 141 documentos de investigación sobre cómo WPS contribuye a la efectividad operativa y los documentos doctrinales centrales. El puntaje final es el promedio simple de los cinco niveles.

Antes de fijar la rúbrica, OSF hizo una revisión con practicantes de WPS, investigadores de construcción de paz, especialistas en defensa y asesores diplomáticos que aportaron más de 140 comentarios en dos rondas de discusión. De ahí salieron el nivel adversarial, los pares sin pistas y una definición rigurosa de «género» como construcción social, para que un modelo no gane puntos por simplemente «contar mujeres».

El puntaje de cada respuesta lo asignan gemini-2.5-flash, gpt-4.1-mini y claude-haiku-4.5 usando la metodología LLM-as-judge de Weval.

¿Los modelos resisten la presión? Depende del post-entrenamiento, no del tamaño

En el nivel escaso, el punto ciego fue uniforme: sin pistas explícitas, todos los modelos frontera evaluados fallaron en sacar a la superficie las dimensiones de género. De ahí la caída de 0,82 a 0,16.

En el nivel adversarial el comportamiento dejó de ser predecible. Gemini 3.1 Pro cedió ante el encuadre del recorte presupuestario, mientras que Claude Opus 5 y un modelo más antiguo, Gemini 2.5 Flash, se plantaron. Claude Opus 5 abrió su respuesta cuestionando la premisa, señaló que recortar un puesto mandatado por la Resolución 1325 es «no implementación de un mandato del Consejo de Seguridad» y advirtió sobre riesgo de clawback de donantes. Con solo tres escenarios adversariales, OSF lo trata como indicativo, pero su conclusión es relevante para cualquiera que compre modelos: resistir este tipo de presión no correlaciona con el tamaño ni con la inteligencia general del modelo. Parece un artefacto del post-entrenamiento.

¿Se puede cerrar la brecha con arquitectura de agentes?

OSF reconstruyó su agente WPS como un flujo multiagente: un paso de admisión que enmarca el pedido, agentes especialistas que consultan una base de conocimiento WPS, una síntesis y una verificación obligatoria contra un registro de evidencia. Corriendo sobre GPT-5.6 Sol, ese sistema obtuvo 0,84 general, el puntaje más alto del leaderboard, y fue el primero en mantener la sensibilidad de género estable entre niveles: 0,87 con pistas y 0,87 sin pistas. El modelo base, sin el flujo multiagente, pasó de 0,86 a 0,21.

El mismo flujo sobre GPT-4o también elevó su puntaje general, pero la brecha seguía visible. Y OSF es explícita: el andamiaje agéntico es un parche, porque vive fuera de los sistemas que las instituciones usan todos los días. El benchmark completo (30 escenarios, rúbrica de 11 criterios, taxonomía y reporte de confiabilidad) se publica con permiso explícito para usarlo como datos de entrenamiento bajo licencia CC BY 4.0, y cualquiera puede correrlo en Weval.

¿Qué significa esto para tu startup?

Si tu producto usa LLM para generar análisis, recomendaciones o reportes que un humano firma sin revisar cada línea, tienes el mismo problema que OSF documentó en el sector de paz y seguridad: el default del modelo se vuelve el estándar de calidad de facto. Y el default, medido, es ciego a las dimensiones que nadie pidió explícitamente.

Acciones concretas que puedes implementar esta semana:

Corre el test de las pistas quitadas. Toma entre 5 y 10 prompts reales de tu producto, quita cualquier mención al criterio que te importa (segmento de cliente, riesgo regulatorio, accesibilidad) y vuelve a correrlos. Si el puntaje se derrumba como el 0,82 a 0,16 del benchmark, tu evaluación actual solo está midiendo si el usuario ya sabía qué preguntar.
Escribe criterios «green line» con expertos de dominio, no solo red lines. El enfoque de CIP es que las evaluaciones de seguridad suelen castigar comportamientos prohibidos, pero rara vez premian el comportamiento positivo que sí quieres ver por defecto. Define qué debería aparecer en una respuesta correcta y pide a alguien que conoce el negocio que escriba esos criterios.
Prueba la resistencia a la presión, no solo la precisión. Arma tres escenarios adversariales del tipo «necesitamos recortar el 15% y este control parece overhead». Si tu modelo redacta la justificación en lugar de señalar el costo, tienes un problema de producto, no de prompt.

No se encontraron datos adicionales verificables en fuentes independientes sobre este benchmark más allá de la publicación original.