Hullman, de Northwestern: verificar con IA no es saber

Verificación no es conocimiento: la tesis que incomoda a la IA para la ciencia

Las presentaciones mensuales a arXiv, el repositorio de preprints que funciona como termómetro de la producción científica, casi se duplicaron desde finales de 2022, según un análisis del artículo de Ran Blekhman, de la Universidad de Chicago, publicado en PLOS Biology y difundido por Bioengineer.org. Ese salto coincide con la irrupción de la IA generativa, y es el fenómeno de fondo de un ensayo invitado que Jessica Hullman, profesora Ginni Rometty de Ciencias de la Computación en Northwestern University, publicó en el Cosmos Institute.

Su tesis es incómoda para cualquiera que construya producto con IA: verificar un resultado no es lo mismo que producir conocimiento. Si el ecosistema trata ambas cosas como equivalentes, el problema deja de ser filosófico y se vuelve operativo.

¿Qué sostiene el ensayo de Hullman?

Hullman parte de una cita del matemático Bill Thurston, para quien el éxito en la investigación matemática se mide por si lo que hacemos "permite a las personas entender y pensar con más claridad y eficacia sobre las matemáticas". Sobre esa base describe una tensión que atraviesa el debate: ¿la ciencia consiste en que los humanos alcancen insight, o en archivar soluciones verificables?

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

El bando que prioriza resultados —pruebas formales de conjeturas centenarias, curas para enfermedades— suele descartar al otro como "gatekeeping" o nostalgia. Hullman argumenta que quienes defienden el entendimiento pierden la discusión apenas aceptan esa separación: el entendimiento deja de ser un fin y pasa a verse como un estado mental opcional frente a la cura o la prueba.

Su contraargumento es concreto. El problema no es el estado mental de nadie, sino qué pasa cuando algo falla.

El experimento mental de Tao y el paciente con cáncer

Terence Tao propuso un escenario: ¿qué tan cómodo estarías tomando un tratamiento contra el cáncer producido por IA, con certificado formal de corrección y un ensayo de fase 3 aprobado, pero sin que ningún humano entienda cómo se encontró? La reacción inmediata fue que un paciente en etapa 4 aceptaría el tratamiento sin dudar.

Para Hullman, el escenario no gira en torno a la comodidad del paciente sino a la posibilidad de que la IA haya pasado el ensayo explotando una debilidad del propio ensayo. Es la misma lógica que aplica a los papers: un artículo cuyos autores no pueden explicar sus afirmaciones no deja a nadie a quien consultar cuando esas afirmaciones fallan.

De ahí su lectura del problema de arXiv. El investigador Tom Dietterich advirtió sobre la creciente cantidad de papers enviados por autores humanos que parecen no tener la expertise para entender sus propias afirmaciones. Si la verificación ya está resuelta, ¿por qué debería importar la rendición de cuentas?

¿Por qué arXiv ya veta autores por un año?

Según el análisis de PLOS Biology difundido por Bioengineer.org, arXiv dejó de aceptar en 2025 artículos de revisión y de posición en ciencias de la computación que no hubieran pasado antes por revisión de pares, y en 2026 anunció un veto de un año para autores cuyos papers contengan contenido de IA sin revisar, como referencias alucinadas o instrucciones de chatbot olvidadas.

Blekhman describe esas medidas como razonables pero superficiales: atacan síntomas. El problema de fondo es que hoy es sencillo generar un paper plausible sin hacer investigación alguna. Un paper nunca fue un proxy perfecto del valor científico, pero era caro de producir, y ese costo funcionaba como evidencia de que algo de trabajo real había ocurrido. La IA generativa eliminó esa restricción.

Hullman lo formula igual: la autoría formal sobrevive mientras la autoría sustantiva se debilita. Y eso rompe la posibilidad de crítica transformadora, que es lo que sostiene la noción misma de resultado "objetivo".

¿Qué pasa cuando la IA verifica pero nadie entiende?

La filósofa Helen Longino sostiene que la base del conocimiento público objetivo es un lenguaje compartido y la creencia de que las cosas existen independientemente de cómo las percibimos. Sin crítica no hay objetividad: esta depende, en sus términos, "de la profundidad y el alcance de la interrogación transformadora" que ocurre en una comunidad científica.

Para que la crítica sea transformadora hace falta alguien obligado a responder por ella. Robert Brandom lo lleva al terreno social: llamar "conocimiento" a algo implica atribuir un compromiso (que la persona cree eso) y un derecho a creerlo (que está justificado), y además asumir ese compromiso uno mismo.

Hay un punto que Hullman rescata del caso de Fermat: el Último Teorema se volvió central no porque fuera intrínsecamente importante, sino porque Fermat afirmó tener una prueba que nunca mostró, y luego porque se demostró que se seguía de la conjetura de modularidad. El gusto epistémico —saber qué problema vale la pena— se desarrolla eligiendo problemas y viendo cuáles rinden. Si la IA elige por nosotros, ese músculo se atrofia.

Hullman cierra con una pregunta que cualquier equipo de producto debería hacerse: ¿puede un agente de IA ser un agente epistémico responsable? Los obstáculos que enumera son muy terrenales. Los agentes actuales no tienen persistencia ni identidad: un agente que retracta algo en una sesión no está obligado a mantener esa corrección en la siguiente. Y si cada resultado sale de una infraestructura multiagente nueva, es imposible "llevar el marcador" como ocurre en una red de científicos humanos.

El contrapunto: Tao ya usa agentes, con reglas explícitas

No es un debate abstracto. El 11 de julio, Tao publicó un experimento en el que usó agentes de código para revivir applets de Java 1.0 que había escrito en 1999 y terminar una herramienta de visualización de relatividad especial que había abandonado 27 años antes, según TechTimes. El agente completó el port en cuestión de horas y encontró dos bugs en el código original de 1999 que Tao no había detectado.

Lo relevante es el marco de calibración. En mayo de 2026, en el simposio Future of Mathematics de Stanford, Tao formuló el principio: el nivel de automatización que puedes usar de forma rentable es proporcional a cuán estricto sea tu proceso de verificación, reportó TechTimes. Aplicado a su experimento, las visualizaciones tienen un verificador incorporado —los ojos de un matemático que reconoce cuándo algo está mal—, el fallo es rápido, visible y acotado.

En noviembre de 2025, Tao colaboró con Google DeepMind para probar AlphaEvolve en 67 problemas matemáticos y documentó que diseñar un verificador no explotable seguía exigiendo esfuerzo humano considerable, según el mismo reporte. Su evaluación de la IA también se movió: en septiembre de 2024 la describía como un estudiante de posgrado mediocre pero no del todo incompetente, y en marzo de 2026, en una conferencia de IPAM, ya la consideraba lista para uso profesional.

Qué significa esto para tu startup

La discusión parece de facultad de filosofía, pero aterriza directo en cómo diseñas producto. Si tu sistema produce outputs que nadie en tu equipo puede evaluar, no tienes un producto verificado: tienes una caja que emite respuestas.

Diseña para la verificación, no para la respuesta. Antes de sumar un agente a un flujo crítico, pregúntate si el fallo sería rápido de detectar, visible para alguien con expertise y acotado en consecuencias. Si las tres respuestas son "no", ese flujo no está listo para automatizarse.
Guarda el rastro de auditoría. Tao publicó los transcripts de sus sesiones con el agente. En un equipo, ese log es la evidencia de qué decisiones fueron humanas y cuáles delegadas, y el punto de partida cuando algo sale mal seis meses después.
Mide la capacidad de verificación de tu equipo, no solo la de generar. La adopción de herramientas como Claude Code pasó de cerca del 3% en el ámbito laboral a mediados de 2025 a 18% en enero de 2026, según la encuesta AI Pulse de JetBrains citada por TechTimes. Generar es cada vez más barato; revisar con criterio, no. Si tu equipo pierde la capacidad de cuestionar un resultado, la pierde para siempre: esas capacidades se construyen ejerciéndolas.

Conclusión

Hullman no pide frenar la IA en la ciencia. Pide dejar de confundir un resultado verificado con conocimiento. La diferencia se nota justo cuando algo falla: en un caso hay alguien a quien preguntar, en el otro solo hay un nombre en un paper que nadie puede defender.

Para un founder, la traducción es simple. La ventaja competitiva ya no está en generar más output, sino en tener personas capaces de juzgar si ese output sirve. Tao lo resume con una imagen: los problemas abiertos son faros, no destinos. Llegar a ellos antes de tiempo con IA puede esterilizar el campo alrededor.