Ai2: jueces de novedad con IA caen de 93,5% a 40,9%

Un cambio de prompt y la precisión se derrumba

Los LLM que se usan para decidir si una idea de investigación es nueva no son fiables. El Allen Institute for AI (Ai2) publicó Old Ideas, Novel Problems, un estudio y benchmark que muestra que, sobre el mismo par de ideas, cambiar unas pocas palabras del prompt puede mover la precisión de un juez automático en más de 50 puntos porcentuales.

El caso más extremo documentado: con GPT-5.4 evaluando pares compuestos por una idea humana validada y una generada por IA, un prompt que avisaba que exactamente una de las dos era novedosa llevó la precisión a 93,5%. Al reemplazarlo por la pregunta simple de cuál idea era novedosa, la precisión cayó a 40,9% — por debajo del azar — y el modelo cambió su veredicto en más de la mitad de los mismos pares.

Para un founder que construye producto sobre modelos, esto no es un detalle académico: es la prueba de que delegar una decisión de calidad a un LLM sin medir su sensibilidad al prompt es delegar a ciegas.

Qué es un juez de novedad y por qué importa

Ai2 viene desarrollando sistemas que cubren distintas partes del descubrimiento científico: DataVoyager (exploración y análisis de datos estructurados), AutoDiscovery (generación y testeo de hipótesis) y Theorizer (síntesis de evidencia en teorías candidatas), junto con Asta. Generar ideas es solo la mitad del problema; la otra mitad es distinguir una dirección genuinamente nueva de un reempaquetado de trabajo existente.

Esa tarea se delega a otro LLM: el novelty judge. No existe una forma estándar de construirlo. Cada equipo elige modelo, prompt, formato de evaluación, presupuesto de razonamiento y, a veces, un sistema de recuperación de literatura. Y esos juicios suelen validarse con papers escritos por humanos, no con las ideas generadas por IA que en la práctica van a evaluar.

Cómo se construyó el benchmark

Para tener ejemplos con evidencia sólida sobre originalidad, Ai2 no usó la aceptación de un paper como proxy. Minó las revisiones de ICLR 2026 buscando pasajes donde los revisores discutieran explícitamente la originalidad del aporte. La distinción es clave: un paper puede aceptarse sin ser especialmente novedoso si es fuerte en otros aspectos, y uno rechazado puede tener un aporte original con otras debilidades.

• Pool de alta novedad: 154 ideas humanas de papers aceptados en el top 10% de su área, con revisores que identificaron novedad positivamente y sin disputas.
• Pool de baja novedad: 145 ideas de papers rechazados en el bottom 10%, con objeciones de originalidad y sin ningún revisor que la destacara.
• Control de calidad: en una verificación aparte, un anotador coincidió con la polaridad de la señal extraída en 47 de 50 casos, y ninguna discrepancia habría cambiado si un revisor contaba como elogio o disputa de la novedad.

Esos dos pools forman el escenario Human-Only. Para el segundo, Human+Generated, emparejaron las mismas 154 ideas humanas con 154 ideas producidas por un generador LLM simple, al que solo se le dio un área de investigación y la instrucción de proponer una idea novedosa, sin búsqueda de literatura, herramientas, iteración ni feedback. Las etiquetas son débiles y asumidas, no verificadas idea por idea. Como chequeo adicional, un experto revisó 30 pares ponderados hacia los casos que el mejor juez falló: prefirió la idea humana en los 30 y no consideró novedosa ninguna de las generadas.

Más búsqueda y más cómputo no arreglan el problema

La intuición dice que un juez con acceso a literatura y más razonamiento debería ser mejor. Los resultados van en contra.

• GPT-5.6 Sol con presupuesto de razonamiento extra-alto y búsqueda iterativa en vivo restringida a arXiv obtuvo 0.78 macro-F1, 11 puntos por detrás de Claude Opus 4.6 (0.89), con un costo aproximado 10× mayor por decisión a precios actuales de API.
• Un prompt simple sobre Claude Opus 4.6 con razonamiento bajo y votación por mayoría en tres llamadas logró 0.854 macro-F1 con un costo total de evaluación de US$2,59.
• Idea Novelty Checker, un pipeline de recuperación y reranking anclado en literatura, sacó 0.642 y costó US$30,66.
• El evaluador de novedad de AI Scientist de Sakana AI, que busca iterativamente en Semantic Scholar, marcó 0.772 y costó US$82,05.

El baseline simple fue más preciso y considerablemente más barato que los dos sistemas construidos específicamente para la tarea.

Otro hallazgo incómodo: no hay un prompt universalmente mejor. Al juzgar ideas de forma individual, quitar la instrucción que advertía no tratar aportes triviales o incrementales como novedosos mejoró la precisión de algunos jueces y la empeoró en otros. Y al comparar ideas de dos generadores distintos (Claude Opus 4.5 contra Claude Sonnet 4.5, y GPT-5.4 contra GPT-5.1), entre un cuarto y un tercio de los veredictos cambiaron en promedio entre los seis jueces según el prompt.

Qué significa esto para tu startup

Si usas un LLM como evaluador — de calidad de contenido, de leads, de candidatos, de ideas de producto — estás usando un juez de novedad con otro nombre. Los aprendizajes del estudio se traducen directo a tu operación:

1. Mide la sensibilidad al prompt antes de confiar en el juez. Corre el mismo set de casos con al menos dos formulaciones distintas. Si el veredicto cambia en más de la mitad, no tienes un evaluador: tienes un generador de ruido con formato de score.
2. Valida con los datos que realmente vas a juzgar, no con proxies. Ai2 muestra que un juez estable en papers humanos puede comportarse muy distinto con ideas generadas por IA. Si tu pipeline evalúa outputs de IA, tu set de validación tiene que estar hecho de outputs de IA.
3. No asumas que más cómputo compra precisión. El juez agéntico con búsqueda en vivo costó cerca de 10× más y quedó 11 puntos por debajo de un baseline simple. Antes de escalar el presupuesto de razonamiento, compara contra la alternativa barata con votación por mayoría.

Conclusión

El aporte más útil del benchmark es metodológico: Ai2 publicó el paper, los datos, el código y un pipeline automatizable para construir nuevos sets de evaluación a partir de revisiones de pares. Eso permite replicar el test en otras comunidades científicas y con futuras generaciones de jueces.

La conclusión del equipo es directa: la evaluación de novedad con LLM sigue siendo un problema abierto. Los jueces que parecen confiables en investigación humana pueden comportarse distinto con ideas generadas por IA; los prompts que ayudan a un modelo pueden perjudicar a otro; y más búsqueda o más cómputo no garantizan juicios más consistentes. Para cualquiera que esté automatizando decisiones con LLM, la lección aplica igual: si no mediste la estabilidad del juez, no sabes qué estás publicando.

No se encontraron datos adicionales verificables sobre este lanzamiento en la búsqueda realizada; el artículo se basa en la publicación original de Ai2.

Fuentes

• Old Ideas, Novel Problems — Ai2 (Hugging Face)