Hugging Face: evaluar IA aún no es una ciencia exacta

Qué dijo Hugging Face sobre los evaluadores de IA embebidos

Irene Solaiman, chief policy officer de Hugging Face, puso el dedo en una herida abierta de la industria: los benchmarks con los que se decide qué modelo de IA es mejor todavía no son una ciencia confiable. Lo dijo durante una conversación en TechCrunch Disrupt, y su diagnóstico tiene consecuencias directas para cualquier startup que elija un modelo mirando una tabla comparativa.

"Son una ciencia en evolución, donde no sabemos cómo compararlos de forma significativa entre sí", señaló Solaiman. Y añadió un problema práctico: "Empiezan a volverse inefectivos relativamente rápido, y no tenemos el ecosistema próspero que necesitamos".

El contexto importa: los laboratorios de IA construyeron su reputación sobre estas evaluaciones, el sistema supuestamente neutral que mide si un producto es mejor que otro. Pero los métodos detrás son complicados y siguen madurando. La pregunta que dejó flotando es incómoda: ¿se puede confiar en los tests que se publican hoy?

¿Se puede confiar en los benchmarks actuales?

Solaiman fue cauta con la palabra confianza. "Confianza es un término muy cargado", dijo. Para ella la pregunta real es otra: ¿puedes reproducir los resultados de una evaluación? ¿Tienes el nivel de acceso que necesitas al modelo?

Ahí entran los pesos abiertos (open weights). Si el modelo es cerrado y solo se accede por API, nadie fuera del laboratorio puede replicar el test. La reproducibilidad es, desde hace años, uno de los puntos más pegajosos del benchmarking y sigue siendo tema de debate en la industria.

El problema se agrava cuando se intenta comparar evaluaciones entre sí. Cada benchmark mide algo distinto, con metodologías distintas, y no existe un marco común. Para un founder que debe decidir entre dos modelos, eso significa que la tabla comparativa que ve en un blog puede no decir nada sobre su caso de uso concreto.

El harness pesa más que el modelo

Un punto que suele pasarse por alto: las evaluaciones ya no miden solo el modelo, sino todo el sistema que lo rodea, incluidos el harness y el agente. El harness es la herramienta con la que el usuario accede al modelo.

Solaiman lo dijo sin rodeos: un modelo más débil con un mejor harness puede superar a un modelo de frontera.

Los datos lo respaldan. En el benchmark First Proof, que evalúa problemas de matemática de investigación inéditos, el sistema ProofCouncil resolvió 9 de 10 problemas con un costo de US$1.888, mientras que el modelo de frontera GPT-6 Astra usado solo resolvió 7 de 10 por US$36, según los resultados del tercer lote publicados el 14 de octubre de 2026 y reportados por TechTimes. La diferencia no está en el razonamiento del modelo, sino en la arquitectura: ProofCouncil corre un bucle autor-crítico donde varios modelos de frontera se revisan entre sí.

El otro lado de la moneda es la brecha de los modelos abiertos. El mejor modelo de pesos abiertos del test, Kimi K3 de Moonshot AI, no resolvió ninguno de los diez problemas. Los revisores expertos situaron su trabajo a la altura de GPT 5.2 Pro, de diciembre de 2025, unos diez meses por detrás de la frontera. Para comparar: Epoch AI había medido una brecha de cuatro meses en benchmarks generales en mayo de 2026, según TechTimes.

Eso conecta directamente con el argumento de Solaiman: la reproducibilidad que dan los pesos abiertos tiene hoy un costo de capacidad medible.

¿Por qué los evaluadores embebidos no son la solución fácil?

La idea de los evaluadores embebidos, observadores externos "neutrales" colocados dentro de las organizaciones de IA, se popularizó en los últimos meses a medida que los laboratorios enfrentan una racha de incidentes de seguridad. Hugging Face fue el objetivo de uno de ellos.

En lugar de regulación gubernamental activa, los laboratorios empujaron la solución de terceros. Pero quedan dudas sobre qué tan neutrales o efectivos serán. La decisión de Anthropic de contratar a Accenture como su primer evaluador generó bastante rechazo, con críticos burlándose de que la consultora estuviera calificada para la tarea.

Solaiman apuntó al problema de fondo: "Hay hambre de un ecosistema de evaluadores embebidos, pero las calificaciones que determinan quién es un evaluador efectivo y para qué tareas necesitan mucha más estandarización".

El conflicto de interés no es teórico. Según The Next Web, Clement Delangue, CEO de Hugging Face, lanzó la Open Alignment Initiative para pedir que su empresa audite a los laboratorios desde adentro, horas después de que Dario Amodei invitara a evaluadores externos a Anthropic. El detalle incómodo: Nvidia confirmó el 3 de septiembre que compra Hugging Face por US$12.930 millones, y Reuters reportó que la misma Nvidia negocia invertir hasta US$10.000 millones como ancla en la IPO de Anthropic. Una empresa que está siendo comprada por Nvidia auditaría a Anthropic, que a su vez recibiría capital de Nvidia.

¿Quién paga la cuenta de la evaluación?

California está decidiendo parte de esto con la SB 813, un proyecto que crearía una clase de organizaciones independientes de verificación, según The Next Web. El costo no es trivial: una investigación de la organización sin fines de lucro METR acumuló US$400.000 en tokens de API, y OpenAI pagó la cuenta.

Ahí está el nudo del problema. Un evaluador necesita dinero y acceso, y la empresa evaluada provee ambos. Nadie ha dicho quién paga a los evaluadores embebidos ni qué pasa cuando uno reporta algo que el laboratorio disputa.

Qué significa esto para tu startup

Si construyes con modelos de IA, la discusión sobre benchmarks parece lejana, pero te toca de lleno: cada decisión de "usamos el modelo X porque saca mejor puntaje" se apoya en una ciencia que todavía no está estandarizada.

Tres cosas concretas que puedes hacer:

• Corre tu propia evaluación con tus datos. No elijas modelo por una tabla pública. Arma un set de 50 a 100 casos reales de tu producto, con respuestas esperadas, y mide ahí. Es la única evaluación que responde a tu pregunta.
• Documenta el harness y la versión. Si tu resultado depende de cómo accedes al modelo (prompts de sistema, herramientas, orquestación), anota la configuración exacta. Sin eso, no puedes reproducir tu propio resultado en tres meses.
• Presupuesta la evaluación como costo de producto. Solaiman lo dijo: las evaluaciones agénticas son "muy difíciles y muy caras". Si tu producto depende de agentes, el gasto en tokens de evaluación no es un extra, es parte del desarrollo.

Y una advertencia sobre los pesos abiertos: si eliges un modelo abierto por privacidad o costo, verifica la brecha de capacidad en tu tarea específica. La brecha general puede ser de meses; en dominios exigentes, como muestra First Proof, puede acercarse a un año.

Conclusión

El mensaje de Hugging Face no es que los benchmarks no sirvan, sino que todavía no son una base sólida para decidir solos. La industria avanza hacia evaluar sistemas completos, modelo, harness y agente incluidos, y eso es más caro y más difícil que comparar puntajes.

Para un founder, la conclusión práctica es simple: trata los benchmarks como una señal, no como una respuesta. La evaluación que importa es la que corres con tus propios datos, en tu propio harness, con tu propio caso de uso. Todo lo demás es contexto.

Fuentes

• TechCrunch: Embedded AI evaluators won't be an easy solution, Hugging Face's policy chief says
• The Next Web: Hugging Face volunteers to audit the AI labs
• TechTimes: First Proof Math Benchmark