Sprinklz, el lector de feeds que los bots de IA saturaron

De un post en Hacker News a un servidor al límite

Hacker News (HN) es el foro de noticias tecnológicas donde un proyecto técnico puede saltar de la nada a la portada y recibir un pico enorme de visitas en pocas horas. Eso fue exactamente lo que le ocurrió a Sammy Straus, desarrollador de sprinklz.io, un lector de feeds personalizable que permite deprioritizar temas del propio feed —por ejemplo, todo lo vinculado a LLMs— según los intereses de cada usuario.

Hace un mes publicó el proyecto en HN y consiguió alrededor de cien votos. La demostración funcionó: buena parte de la comunidad estaba cansada de leer sobre modelos de lenguaje y le sirvió poder sacarlos de su feed. Después, el sitio se volvió lento. Muy lento.

Lo llamativo no fue la caída inicial, atribuible al pico de atención. Fue lo que vino después: la lentitud empeoró varios días más tarde, cuando el post ya no estaba en portada. Y las métricas no cuadraban: unos pocos usuarios activos con sesión iniciada, contra un servidor con una carga desproporcionada.

Straus agregó logging a nivel de endpoint y encontró la primera pista incómoda: la mayoría de las peticiones ni siquiera intentaban descargar artículos. Como el sitio es una aplicación de una sola página (SPA), eso significa que buena parte del tráfico no ejecutaba el JavaScript necesario para renderizar la página.

Después revisó los logs agregados de NGINX. Cerca de la mitad del tráfico venía de un único usuario: un servicio que se describe a sí mismo como alguien que "escucha cambios" en sitios web y los resume en un boletín de contenido generado con IA. Escuchar, en este caso, significaba consultar el sitio muchas veces por minuto. Bloqueado.

El resto de la lista es el censo habitual de la web en 2026: Claude bot, OpenAI bot y el indexador de Google —estos sí identificados como tales— más varios escáneres de vulnerabilidades buscando rutas tipo /wp-content/phpinfo.php en un sitio que ni siquiera corre WordPress.

La respuesta de Straus es la que cualquier fundador técnico debería copiar: robots.txt para desalentar a los escáneres de IA manteniendo el acceso de Googlebot y del tráfico de búsqueda, límites de tasa razonables y una reescritura de la infraestructura para soportar mucho más tráfico real. "Quiero ser el sitio que pueda manejar mucho más tráfico real", resume.

¿Cuánto del tráfico de tu sitio es en realidad humano?

La anécdota deja de ser anécdota cuando se mira el número global. Matthew Prince, CEO de Cloudflare, confirmó que el tráfico automatizado superó al humano en la red de la compañía en mayo de 2026, según reportó Crypto Briefing. La empresa publicó que los sistemas automatizados generan el 57,5% de las peticiones HTTP de contenido web a nivel mundial, contra un 42,5% de personas, según Tech Times.

El dato tiene segunda derivada. Prince proyecta que el tráfico no humano podría llegar a ser unas 1.000 veces el volumen humano en 2031, porque los agentes de IA completan tareas a frecuencias que ninguna sesión humana alcanza.

Los editores ya sienten la presión por otro lado: la relación entre rastreo y visitas de Google cayó de aproximadamente 6:1 a 18:1 o peor, según Crypto Briefing. Un crawler que lee tu artículo no genera ingresos publicitarios; si lo lee tres veces más seguido mientras te manda proporcionalmente menos lectores, la ecuación se rompe.

También cambió la composición del tráfico. El tráfico de entrenamiento —crawlers que raspan contenido para alimentar modelos— representa entre el 40% y el 52% de toda la actividad de crawlers de IA, de acuerdo con Crypto Briefing. Y el volumen crece solo: GPTBot de OpenAI aumentó 305% en un año, según Tech Times.

El caso más documentado de escala es Wikimedia: el ancho de banda para contenido multimedia subió 50% desde enero de 2024, y cerca del 65% de su tráfico más intensivo en recursos venía de bots, aunque los bots representaban solo alrededor del 35% de las páginas vistas (Tech Times).

Hay un detalle que explica por qué el problema no se resuelve solo: Cloudflare calcula que más de la mitad del tráfico de rastreo de crawlers de IA se gasta volviendo a descargar páginas que no cambiaron, según TechCrunch. Es decir, pagas cómputo por contenido idéntico.

¿Por qué robots.txt ya no alcanza?

Porque es un pedido, no una barrera. Drew DeVault y Gergely Orosz, desarrolladores open source citados por Tech Times, describieron crawlers de IA ignorando los archivos robots.txt. Y los operadores más chicos vieron picos de raspado que ralentizaron o tumbaron sitios diseñados para audiencias humanas modestas.

La capa donde sí se decide el acceso es otra. Según datos preliminares de Cloudflare Radar analizados por TechnologyChecker.io y difundidos por Zen Media (vía GlobeNewswire), los sitios en la red de Cloudflare respondieron con acceso denegado al 13,47% de las peticiones de bots de IA en el tercer trimestre de 2026, frente al 5,98% del mismo trimestre del año anterior.

El mismo análisis separa dos tipos de bots que conviene tratar distinto: en una muestra del 28 de septiembre de 4.242 archivos robots.txt, GPTBot —el de entrenamiento— fue bloqueado 1,60 veces por cada vez que se le permitió, mientras que OAI-SearchBot —el que muestra páginas en la búsqueda de ChatGPT— fue bloqueado 0,91 veces por cada permiso.

Y una advertencia técnica clave: un sitio puede permitir un crawler de búsqueda en robots.txt y aun así rechazarlo en el firewall, el CDN o las reglas anti-bot, porque un 403 es una denegación HTTP, no una directiva del archivo. La revisión completa cubre las dos capas.

Del lado de la infraestructura, el movimiento más grande fue de Cloudflare: desde el 15 de septiembre de 2026 bloquea por defecto a los crawlers "de uso mixto" en páginas con publicidad para dominios nuevos y clientes gratuitos, salvo que el dueño del sitio cambie la configuración, según TechCrunch. La compañía también empuja un modelo de pago por uso, con códigos HTTP 402 como señal de negociación: sus clientes ya emiten más de mil millones de esos códigos por día (Tech Times).

¿Qué significa esto para tu startup?

La lección no es "bloquea todo". Es que tu infraestructura y tu archivo robots.txt son decisiones de producto, no tareas de DevOps pendientes para algún día.

Acciones concretas que puedes implementar esta semana:

• Instrumenta antes de optimizar. Agrega logging por endpoint y por user-agent desde el día uno. Straus solo entendió el problema cuando midió qué rutas se pedían y con qué frecuencia. Sin ese dato, cualquier optimización es a ciegas.
• Separa bots de búsqueda de bots de entrenamiento. Bloquear GPTBot no te saca de la búsqueda de ChatGPT, pero bloquear OAI-SearchBot sí impide que tus páginas aparezcan allí, según la documentación de OpenAI citada en el informe de Zen Media. Son dos decisiones comerciales distintas.
• Define límites de tasa y caché agresiva. Un porcentaje alto del rastreo es re-descarga de páginas sin cambios (TechCrunch). Cachear en el borde convierte ese gasto en casi cero y protege el servidor de origen.
• Verifica la capa del firewall, no solo el archivo. Revisa si tus reglas de CDN o WAF están devolviendo 403 a user-agents que sí quieres permitir.
• Trata tu web como un producto que debe aguantar. Un pico de bots es, en el fondo, un test de carga gratuito y sin aviso.

Para un equipo con presupuesto limitado, el orden importa: primero medición, luego límites de tasa y caché, y recién después, si el tráfico lo justifica, herramientas de gestión de bots.

Conclusión

Que un post en Hacker News termine en una auditoría forzada de infraestructura es una historia feliz comparada con la del sitio que simplemente se cae. Pero Sammy Straus deja una señal clara para el ecosistema: si la mayoría de las peticiones de la web ya no son humanas, tu plan de escalado no puede asumir que cada visita es una persona leyendo.

La buena noticia es que las palancas existen y son baratas: medir, limitar, cachear y decidir a qué bot le abres la puerta. La mala es que el default ya cambió y no juega a tu favor.

Fuentes

• Sammy's Blog (fuente original)
• Hilo original en Hacker News
• Cloudflare CEO says AI bots already outnumber humans on the web
• Bot Traffic Passes Humans Online: Cloudflare Says Agentic AI Drove 57.5% Share
• Cloudflare's new policy pushes AI companies to pay for publishers' content
• AI Crawlers Turned Away More Than Twice as Often