El físico Casey Handmer usa IA para auditar 158.059 papers

Cómo una IA leyó un campo entero: 158.059 papers y 554.670 citas

Casey Handmer, que hizo su doctorado en Caltech, partió de un grupo concreto: TAPIR, el equipo de astrofísica teórica donde trabajó, con 4.093 papers de sus 326 miembros desde 2004. Le sumó todo lo que esos papers citan y todo lo que los cita a ellos. El resultado es un corpus de 158.059 papers unidos por 554.670 citas. El mapa visual, más restrictivo, dibuja 49.301 papers ligados a TAPIR al menos tres veces.

No es un ejercicio de estilo. Es una auditoría con tres capas de profundidad. Primero, un filtro automático sobre 50.269 papers y 421 millones de palabras, el 76% del mapa. Después, una lectura con modelo de los papers más influyentes. Y al final, 659 papers recalculados de verdad: re-derivar las ecuaciones, probar los límites, reconstruir los números desde las propias tablas del paper.

Según relata Handmer en el informe publicado en su blog, el hallazgo incómodo no es que la literatura científica tenga errores. Es la velocidad a la que el sistema los deja circular.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

El error de 1997 que nadie corrigió nunca

Handmer reconstruye el caso que lo llevó a todo esto. Las ecuaciones sobre las que se construyó su código venían de Bishop, Gómez, Lehner, Maharaj & Winicour, «High-powered gravitational news» (1997), el paper del que descienden los códigos característicos del subcampo. Se sabía que tenía errores. Las correcciones estaban dispersas en unas 10.000 líneas de hilos de email que se contradecían entre sí, y el paper original nunca se corrigió.

Lo mejor que pudo hacer fue arreglar el registro en sus propios papers: un apéndice con el conjunto completo de ecuaciones consistentes y un paréntesis que decía, literalmente, «with a sign error in s3 corrected».

Ese es el techo de la revisión humana de literatura, y el diagnóstico que importa para cualquier equipo que produzca documentación técnica: nadie re-deriva cada ecuación que cita, los revisores revisan un paper una vez, y a nadie le pagan por volver a corregir el original. Cada estudiante que construye sobre un paper roto paga el mismo peaje, uno por uno, y la corrección vive en la bandeja de entrada de alguien.

¿Cuántos errores detecta la revisión por pares? Uno de cada cinco

El proyecto comparó los preprints con las versiones publicadas de los 200 papers más citados de TAPIR entre 2006 y 2019. Unos 136 fueron revisados entre el primer preprint y la versión de revista, así que se leyeron los dos textos igual.

El resultado: 13 errores verificados estaban en el preprint y desaparecieron de la versión publicada. Otros 56 pasaron la revisión y llegaron intactos a la revista. La conclusión de Handmer es seca: sobre esta evidencia, la revisión por pares elimina más o menos uno de cada cinco errores. Y al menos dos de los 13 corregidos fueron copiados igualmente por papers posteriores que leyeron el preprint viejo.

¿Por qué los errores se siguen copiando años después?

Al ampliar el barrido a 459 papers más todavía citados, el chequeo de recálculo y verificación sostuvo 816 errores adicionales. Total: 872 errores en 433 papers. De ellos, 159 fueron copiados, valor equivocado incluido, en al menos un paper posterior.

Contado en papers: 367 copiaron un error y apenas 68 criticaron uno. Solo 47 de los 872 fueron criticados alguna vez por escrito, y 21 de esos siguieron siendo copiados después, por 51 papers más.

La curva de persistencia lo deja claro: la proporción de errores copiados que sigue copiándose está en 52% a los siete años, cruza la mitad a los ocho y baja a 39% a los diez. De los 56 errores de los 200 papers leídos más a fondo, 52 siguen en la última versión de arXiv, donde corregir es gratis, y la base de datos registra una errata para 2. De los 87 errores que sí desaparecieron, 67 nunca fueron criticados por nadie: se diluyeron cuando el subcampo avanzó, que retira aciertos y errores a la misma velocidad.

El caso más ilustrativo es el de Smith, Kamionkowski & Cooray, entre 2005 y 2014: dos factores de un medio perdidos dejan el resultado cuatro veces más grande, un 6 en el denominador donde el libro de texto tiene 24. Hubo seis copias y una sola objeción, en 2008. Las copias siguieron hasta 2014.

¿Cuánto cuesta auditar un campo científico con IA?

Handmer pone número a la cuenta: US$2.720 en tiempo de modelo a precio de lista, unos US$3 por error verificado. En la práctica corrió dentro de una suscripción Claude Max. El proyecto completo consumió unos 4.900 millones de tokens y le llevó 44 horas de su tiempo repartidas en 41 días.

Y eso que el chequeo profundo solo llegó al 4% de los papers muy citados del mapa. Extrapolando desde los que sí se revisaron, la estimación de errores no detectados en papers citados 100 o más veces ronda los 34.000, con un rango de 25.000 a 48.000. El resto de la cola, dice, es una decisión de presupuesto.

El talón de Aquiles: ningún humano verificó estos errores

El propio autor marca el límite. Los errores los encontró una sesión de IA y los volvió a derivar una segunda, independiente, y cada uno se confirmó en la versión que publicó la revista. Cinco se comprobaron paso a paso. Ninguna persona revisó ninguno.

Como test, 40 elegidos al azar fueron a una tercera sesión que solo vio el paper y el pasaje concreto: detectó 33 de los 40 como erróneos. Es decir, una parte de los 872 no sobrevivirá a un escrutinio humano.

El otro hallazgo, más tranquilizador: la búsqueda de fraude salió casi limpia. 13 retractaciones entre 184.733 papers con DOI, ninguna de TAPIR. Sin señales de lenguaje de paper-mill, sin residuos de chatbot ni instrucciones ocultas para revisores automáticos. 62 papers llegaron a arXiv con notas de «TODO» y «FIXME» sin resolver. Lo único que se movió fue el vocabulario: palabras como «delve» o «crucial» son 2,5 veces más comunes en 2025 que en 2016.

¿Qué le dice esto a quien construye con IA?

El subtexto del proyecto es una lección de arquitectura de producto, no de astrofísica. Handmer demuestra que el coste marginal de leerlo todo ya es distinto del coste de entenderlo todo: filtrar 421 millones de palabras costó casi nada, mientras que recalcular un solo paper cuesta unos dólares de tiempo de modelo. La consecuencia práctica es que cualquier equipo puede montar un sistema de dos velocidades y no necesita elegir entre cobertura y profundidad.

Hay un segundo mensaje para los que construyen agentes: el doble modelo independiente no es paranoia, es control de calidad. Handmer no confió en la sesión que encontraba errores; puso otra a re-derivarlos y una tercera a auditar la auditoría. Ese diseño bajó el ruido de 40 hallazgos aleatorios a 33 confirmados, y le permitió publicar una tasa de error en lugar de esconderla.

Qué significa esto para tu startup

  • Aplica la regla 4/96 a tu propia documentación. Elige el 4% de tus documentos que todo el equipo cita —la guía de arquitectura, el contrato tipo, la hoja de cálculo de precios— y somételos a recálculo real. El resto se filtra barato con un agente que busque contradicciones, TODOs sin resolver y texto copiado entre documentos que no comparten autor.
  • Instrumenta dos agentes, no uno. Un agente que encuentra y otro que re-deriva sin ver el resultado del primero. Si los dos coinciden, publicas el hallazgo; si no, va a revisión humana. Es la misma lógica que separar quien escribe código de quien lo revisa.
  • Mide tu tasa de corrección, no tu tasa de detección. Handmer sabe que su método elimina uno de cada cinco errores, que la mitad sigue circulando siete años después y que su propio sistema falla en 7 de cada 40 casos. Ese número —no el titular de los 872 errores— es lo que convierte una demo de IA en un proceso confiable.
  • Empieza por tus propios artefactos. El detalle más útil del informe es que la IA encontró errores en los papers del propio autor. Antes de auditar el mercado, corre el barrido sobre lo que tu equipo publicó el año pasado.

La conclusión del informe es la que debería quedar en la pared de cualquier equipo que produzca conocimiento a escala: un campo científico desborda sus errores muchísimo antes de corregirlos. Con agentes de IA, leerlo todo ya es barato. Corregirlo sigue requiriendo que alguien decida pagar por hacerlo.

Fuentes

No se encontraron datos adicionales verificables en la búsqueda de contexto: los resultados devueltos no guardaban relación con el tema, por lo que el artículo se apoya exclusivamente en el informe original.

¿te gustó o sirvió lo que leíste?, Por favor, comparte.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Daily Shot: Tu ventaja táctica

Lo que pasó en las últimas 24 horas, resumido para que tú no tengas que filtrarlo.

Suscríbete para recibir cada mañana la curaduría definitiva del ecosistema startup e inversionista. Sin ruido ni rodeos, solo la información estratégica que necesitas para avanzar:

  • Venture Capital & Inversiones: Rondas, fondos y movimientos de capital.
  • IA & Tecnología: Tendencias, Web3 y herramientas de automatización.
  • Modelos de Negocio: Actualidad en SaaS, Fintech y Cripto.
  • Propósito: Erradicar el estancamiento informativo dándote claridad desde tu primer café.

📡 El Daily Shot Startupero

Noticias del ecosistema startup en 2 minutos. Gratis, todos los días.

Share to...