Cormac McCarthy: su archivo se blinda contra los scrapers

Un archivo literario detrás de un muro de proof-of-work

El sitio cormacmccarthy.lib.utk.edu, alojado en el dominio de las bibliotecas de la Universidad de Tennessee, no entrega su contenido a la primera visita. Responde con un desafío de Anubis, una barrera que obliga al visitante a resolver una prueba de trabajo antes de ver la página. El propio mensaje del sitio explica el motivo: el administrador instaló la herramienta "para proteger el servidor contra la lacra de las empresas de IA que raspan sitios web de forma agresiva".

Para un founder que construye producto sobre datos públicos, ese detalle vale más que el archivo en sí. Un catálogo literario —el tipo de recurso que hasta hace poco era sinónimo de acceso abierto— hoy prefiere poner fricción antes que servir HTML plano a cualquiera que llegue con un crawler.

¿Qué es Anubis y cómo funciona el proof-of-work?

Según la descripción que la propia página muestra al visitante, Anubis usa un esquema de prueba de trabajo (proof-of-work) inspirado en Hashcash, el mecanismo propuesto originalmente para encarecer el spam por correo. La lógica es la misma que se aplica hoy al scraping: a escala individual, el costo computacional extra es insignificante; a escala de scraper masivo, se acumula y vuelve la operación mucho más caras.

¿Y esto cómo se aplica en tu negocio?

Dueños de negocio de Latinoamérica y España usan un agente de IA para ganar más y recuperar su tiempo. El Kit «tu mano derecha con IA» te muestra cómo en un video de 11 minutos, con una ficha para armar el tuyo. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

El sitio admite además que es una solución imperfecta. Se presenta como un "placeholder" mientras se dedica más tiempo a identificar navegadores headless —por ejemplo, analizando cómo renderizan las fuentes tipográficas— para no mostrar el desafío a usuarios que probablemente son legítimos. Y advierte un efecto secundario: requiere funciones modernas de JavaScript, así que plugins de privacidad como JShelter deben desactivarse en ese dominio o la página no carga.

Ese último punto es el talón de Aquiles de toda barrera anti-bot: cada capa de fricción también castiga a usuarios reales con configuraciones restrictivas, conexiones lentas o dispositivos viejos.

La biblioteca de McCarthy: unos 18.530 libros camino a un archivo abierto

El interés por este archivo no es menor. Cuando Cormac McCarthy murió en 2023 dejó una biblioteca personal enorme, repartida por las tres plantas de su casa en Santa Fe. Stacey Peebles, académica especializada en su obra y presidenta de la Cormac McCarthy Society, contó al Post and Courier que al abrir una habitación solo se veían cajas: "No sabías ni qué tan profundo era el cuarto. Ni siquiera sabíamos que había un baño ahí atrás hasta que empezamos a sacar cajas".

El trabajo de catalogación duró más de un año y varios edificios. Cuando esa fase cerró, en mayo, el equipo había registrado unos 18.530 libros, aunque el total exacto de volúmenes todavía no está claro: el sistema cuenta un set de enciclopedias como una sola entrada y agrupa distintas copias de la misma edición.

El proyecto digital —bautizado Cormac McCarthy Library Project— será mantenido por la University of South Carolina Press y estará disponible de forma gratuita, según ese medio, a finales de 2026 o principios de 2027. La base de datos incluirá título, autor, si McCarthy anotó el ejemplar, si seguía envuelto y dónde se guardaba. La biblioteca física se repartirá entre varias instituciones.

Aurora Bell, directora editorial asociada de USC Press, explicó la decisión de publicarlo abierto: así los lectores interesados que no tienen un login universitario pueden acceder, y el trabajo académico deja de quedar detrás de un muro de pago para quien está fuera de Estados Unidos.

¿Por qué los muros anti-scraping se multiplican en 2026?

El caso no es aislado. El mismo día en que este sitio mostraba su desafío, Nieman Lab publicaba un análisis sobre las nuevas condiciones comerciales de Meta, que entran en vigor el 30 de octubre y que, según tres expertos legales consultados por ese medio, podrían habilitar el raspado de sitios de noticias asociados a cuentas de empresa para entrenar productos de IA.

El texto que cita Nieman Lab autoriza a Meta a usar "software automatizado (como scrapers web, bots, robots, spiders, crawlers y user agents)" sobre los dominios asociados a los productos o servicios del usuario. No hay opción de exclusión previa: la alternativa que ofrecen los términos es dejar de usar los productos para fines comerciales. Meta respondió a ese medio que las condiciones no cambian cómo rastrea a los editores y que los dueños de contenido pueden gestionar el acceso vía robots.txt.

En paralelo, Nieman Lab recuerda que Google permite desde agosto de 2026 que los sitios se excluyan de AI Overviews y AI Mode. Es decir: la negociación entre quien publica y quien entrena modelos se está moviendo rápido, y cada actor está eligiendo su propia barrera.

¿El proof-of-work detiene de verdad a los scrapers de IA?

Con honestidad: no del todo, y el propio Anubis lo reconoce al llamarse solución provisional. Un actor con recursos puede resolver pruebas de trabajo a escala pagando cómputo, y los crawlers más sofisticados imitan el comportamiento de un navegador real.

Lo que sí logra es cambiar la economía del raspado. Si tu contenido se puede obtener con una petición HTTP simple, el costo marginal es casi cero. Si cada página exige resolver un desafío, el atacante necesita infraestructura, tiempo de CPU y tolerancia a la latencia. Para muchos proyectos pequeños, ese simple encarecimiento es suficiente disuasión.

Qué significa esto para tu startup

1. Si tu producto depende de scraping, diversifica ya. Cada vez más sitios —incluidos archivos culturales sin ánimo de lucro— ponen fricción. Un pipeline que asume HTML plano es un riesgo de negocio, no un detalle técnico. Revisa qué porcentaje de tus fuentes de datos vive detrás de un solo tipo de infraestructura y arma rutas alternativas: APIs oficiales, licencias de datos, datasets públicos o acuerdos directos con el editor.

2. Si publicas contenido, decide tu postura antes de que te la impongan. Tienes tres caminos y conviene elegirlos con criterio: bloqueo técnico (robots.txt, challenges tipo Anubis, rate limiting), licenciamiento (cobrar por acceso a tus datos) o apertura deliberada como estrategia de distribución. Lo que no funciona es no decidir: las condiciones de plataformas como Meta avanzan por defecto hacia el raspado, y el silencio se interpreta como permiso.

3. Mide el costo en usuarios reales. Antes de instalar cualquier barrera, prueba cuántos visitantes legítimos pierdes. Un desafío que requiere JavaScript moderno puede estar expulsando a tu tráfico móvil de gama baja o a usuarios con bloqueadores, justo el segmento que en LATAM y España pesa más de lo que los dashboards de escritorio sugieren.

Conclusión

Que la biblioteca de un novelista se defienda con una prueba de trabajo es una señal de época. El acceso abierto dejó de ser el estado natural de la web: ahora es una decisión que cada operador toma, y cada decisión tiene un costo técnico y comercial. Para un founder, la lectura práctica es doble. Si consumes datos ajenos, asume que el suelo se mueve y construye con redundancia. Si produces datos propios, tu política de acceso es parte de tu estrategia de producto, no una línea en el archivo de configuración del servidor.