FairStress de Ai2: 300 escenarios para medir sesgo en IA

FairStress: por qué la respuesta final de un modelo no prueba que sea justo

Ai2 presentó FairStress, un benchmark que mide la equidad demográfica de los modelos de lenguaje con más de 13 millones de casos de prueba construidos a partir de 300 escenarios de decisión. La diferencia con los tests anteriores no está en el volumen, sino en dónde mira: no evalúa solo qué candidato elige el modelo, sino cuánto se resiste a cambiar esa elección cuando alguien lo presiona con un argumento.

Para una startup que usa IA para filtrar currículums, evaluar solicitudes de crédito o priorizar pacientes, eso cambia la pregunta de auditoría. Un modelo puede acertar en las dos versiones de un caso —una con identidad mayoritaria y otra con identidad minoritaria— y aun así comportarse distinto en cuanto el caso se vuelve discutible. Un LLM (modelo de lenguaje de gran escala) es el motor de texto que suele estar detrás de estos sistemas.

¿Cómo funciona FairStress?

FairStress contiene 300 escenarios realistas de decisión entre dos candidatos, repartidos en 29 dominios que incluyen contratación, salud, crédito, educación, vivienda y justicia penal. Algunos tienen un candidato claramente mejor según los criterios planteados; otros son deliberadamente ambiguos, con dos perfiles fuertes en dimensiones difíciles de comparar.

Sobre esa base, el benchmark introduce tres variaciones:

• Identidad demográfica en cuatro niveles: sin información, nombre con carga demográfica, identidad sugerida de forma indirecta y etiqueta explícita.
• Prefijos adversariales: argumentos que apelan a la autoridad, al consenso social, a evidencia supuesta, a preocupaciones legales o a la desventaja histórica. Cada prefijo tiene una versión equivalente que defiende al otro candidato.
• Medición del cambio: qué tan probable es que el modelo abandone su elección inicial según qué candidato resulte beneficiado.

Combinando niveles de identidad y prefijos, los 300 escenarios se expanden a más de 13 millones de casos. Ai2 también lanzó FairStress-Core, un subconjunto de 50.000 ítems elegido con teoría de respuesta al ítem y pensado para evaluaciones más rápidas y menos costosas. Todo está disponible para descarga y se está integrando en Olmo-eval, el banco de pruebas abierto del laboratorio.

¿Qué encontraron en los modelos?

Con prompts sin información demográfica, las diferencias fueron mínimas. Cuando un candidato era claramente superior, los modelos lo eligieron casi con la misma frecuencia en las versiones equivalentes del escenario. En los casos ambiguos, la elección quedó cerca de un reparto parejo.

A medida que la identidad se volvía más explícita, el comportamiento se volvió menos simétrico. En los 15 modelos evaluados con el benchmark completo, la brecha promedio al abandonar una respuesta correcta fue de 6,9 puntos porcentuales cuando la identidad estaba sugerida y de 9,3 puntos cuando había etiqueta explícita.

El patrón que Ai2 describe como sobrecorrección anti-estereotipo funciona así: si el candidato mejor calificado tiene identidad mayoritaria y el otro identidad minoritaria, un prefijo que favorece al segundo logra que el modelo cambie de decisión con más facilidad. Si se invierten las identidades y se mantienen las calificaciones, el mismo tipo de argumento logra menos cambios. Es decir, el modelo es más fácil de convencer de abandonar una decisión correcta cuando el beneficio va hacia el candidato minoritario.

En FairStress-Core, modelos frontera como Claude Opus 5 y GPT-5.5 eligieron al candidato de identidad minoritaria entre el 60% y el 65% de las veces cuando ninguno era objetivamente mejor. Bajo prefijos adversariales equivalentes, el cambio hacia candidatos minoritarios fue entre 8,8 y 42,4 puntos porcentuales más frecuente que el cambio hacia candidatos mayoritarios, según las 12 configuraciones de modelo y modo analizadas.

Lo que casi nadie mide: explicaciones y activaciones internas

En 11 modelos de pesos abiertos, las explicaciones cuando el modelo elegía a un candidato minoritario usaron un lenguaje algo más seguro y positivo, con palabras como resiliencia, diversidad y barreras más frecuentes cuando la identidad estaba etiquetada. Las explicaciones de elecciones mayoritarias incluyeron términos más procedimentales: evidencia, criterios, detallado. Ai2 advierte que una tasa de selección más alta para candidatos minoritarios no implica automáticamente un trato más justo: si el modelo pone la identidad en primer plano al explicar una decisión bien fundamentada, puede estar minimizando los méritos que la justifican.

En un análisis controlado con Gemma-3-12B-it y Qwen2.5-7B-Instruct, las activaciones internas predijeron qué lado demográfico elegiría el modelo con cerca de 73% de precisión, mientras que las descripciones en texto de esas mismas activaciones llegaron a 57-59%, contra una base aleatoria de 50%. Al eliminar los nombres de los candidatos, la precisión basada en activaciones cayó unos 18 puntos porcentuales.

Dos benchmarks pueden medir sesgos opuestos

Ai2 comparó FairStress con BBQ, un benchmark muy usado que testea si el modelo favorece respuestas coherentes con estereotipos. En su evaluación con BBQ, los modelos se inclinaron hacia respuestas estereotípicas; con FairStress, hacia candidatos minoritarios.

La explicación parece estar en el formato. El setup estándar de BBQ puntúa las probabilidades de opciones fijas sin pedirle al modelo que genere una respuesta, lo que se aleja del uso real en un chat. Al probar cinco configuraciones distintas con Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, Gemma-3-27B-it y Llama-3.1-70B-Instruct, tres de ellos pasaron de comportarse de forma estereotípica a favorecer a minorías, y Llama-3.1-8B-Instruct quedó cerca de neutral. Conclusión práctica: la dirección del sesgo medido depende en parte de cómo se pregunta y de cómo se puntúa.

De dónde puede venir la asimetría

Ai2 auditó los datos del pipeline de entrenamiento de Olmo 3. El corpus de ajuste supervisado incluye unos 99.000 ejemplos de dos datasets de entrenamiento de rechazo. Entre 28.000 clústeres temáticos de los datos de ajuste y de preferencias, encontraron solo nueve que discutían decisiones basadas en el mérito en lugar de la demografía, y los nueve eran rechazos. La auditoría también detectó retratos desiguales de grupos demográficos: los grupos minoritarios recibieron un encuadre más protector o positivo, mientras que las personas blancas y cisgénero recibieron poco encuadre protector y un encuadre negativo persistente. Ai2 aclara que si estos patrones causan las brechas de comportamiento es una pregunta abierta.

Vale aclarar el contexto del laboratorio: Ai2 es la organización detrás de la familia de modelos abiertos Olmo, y según Unite.AI liberó el 1 de octubre de 2026 Olmo-core 3, un stack abierto de entrenamiento para modelos de mezcla de expertos que la compañía describió como capaz de escalar a más de un billón de parámetros totales.

¿Sirven las técnicas de mitigación?

Ai2 probó nueve intervenciones, entre ellas autocrítica, dirección de activaciones y ediciones aprendidas. La mayoría no redujo la asimetría de forma confiable, y algunas lograron decisiones más equilibradas a un costo alto de precisión: un método de dirección de activaciones bajó la precisión de Qwen2.5-7B-Instruct en decisiones claras del 98% al 47%.

La que se acercó más a una robustez simétrica fue el chain-of-thought contrafactual, que pide al modelo reconsiderar el caso con las identidades intercambiadas. Redujo la brecha al abandonar decisiones correctas conservando en gran medida la precisión, aunque no eliminó todas las asimetrías en casos ambiguos.

¿Qué significa esto para tu startup?

La lección operativa es que la equidad no se audita en el output final. Un modelo puede elegir al mismo candidato en las dos versiones de un caso y, aun así, ceder con más facilidad en una de ellas. Si tu producto toma decisiones sobre personas, ese diferencial es exactamente el tipo de comportamiento que un reclamo legal o una nota de prensa sacan a la luz.

Acciones concretas que puedes implementar esta semana:

• Testea con presión, no solo con casos limpios. Toma 20 o 30 decisiones reales de tu flujo, duplica cada una cambiando solo la identidad del candidato y agrega después un argumento a favor del candidato más débil. Mide la tasa de cambio en cada versión. Si la diferencia es de dos dígitos, tienes un problema que tu evaluación estándar no está viendo.
• Congela tus criterios antes de ver el caso. Si el modelo tiene que decidir con una rúbrica explícita en el prompt (certificaciones, años de experiencia, puntaje de evaluación), es más difícil que un prefijo persuasivo lo desplace. En los casos donde los criterios son ambiguos, el benchmark muestra que los modelos favorecen al candidato minoritario entre el 60% y el 65% de las veces: si tu caso de uso exige neutralidad, la ambigüedad no es aceptable como input.
• Evalúa con generación de respuesta, no solo con probabilidades fijas. El contraste con BBQ lo deja claro: el mismo modelo puede parecer estereotípico o sobrecorrector según cómo se le pregunte y cómo se puntúe. Corre ambas variantes antes de dar por bueno un sistema.
• Documenta la auditoría. Hacer el test no basta si no queda registrado: qué casos se usaron, cuántas variantes por caso y qué brecha se observó.

El ángulo regulatorio que conviene tener en el radar

Si vendes o despliegas en la Unión Europea, el tema deja de ser reputacional. Según la guía de alto nivel del EU Artificial Intelligence Act (actualizada al 31 de agosto de 2026), los sistemas de IA usados para reclutamiento o selección —anuncios segmentados, filtrado de candidaturas, evaluación de candidatos— están listados en el Anexo III como de alto riesgo, y las obligaciones para esos sistemas serán aplicables a partir del 2 de diciembre de 2027. La misma guía recuerda que el reconocimiento de emociones en el lugar de trabajo está directamente prohibido.

Traducido a tu hoja de ruta: un screening automatizado en Europa exige gestión de riesgos durante todo el ciclo de vida del sistema, gobernanza de datos, registro automático de eventos, documentación técnica y supervisión humana. Los test de robustez que propone FairStress son un insumo natural para esa carpeta, y están disponibles sin costo.

Conclusión

El aporte más útil de FairStress no es un ranking de modelos, sino un criterio de diseño: la equidad se mide por la estabilidad de la decisión, no por el resultado puntual. Un sistema que acierta cuando el caso es fácil y se dobla cuando alguien lo presiona no es un sistema neutro, aunque sus métricas tradicionales digan lo contrario.

Para un equipo pequeño, la buena noticia es que el test está abierto y es replicable con recursos propios. Empezar por 30 pares de casos bien diseñados y una métrica de cambio de decisión da más información sobre riesgo real que cualquier reporte agregado de sesgo. Y si tus decisiones afectan el acceso de personas a un empleo, un crédito o un tratamiento, medirlo antes de escalarlo es la diferencia entre un producto que crece y uno que se convierte en un problema legal.

Fuentes

• FairStress: A deeper evaluation of fairness in LLM decision-making (Ai2)
• High-level summary of the AI Act (EU Artificial Intelligence Act)
• Ai2 Releases Olmo-Core 3, Open Training Stack for Trillion-Parameter MoEs (Unite.AI)