Cloudflare audita la confianza de los bots verificados

¿Qué es una banda de confianza y en qué se diferencia de verificar un bot?

Cloudflare presentó un sistema que evalúa y reporta cuándo el comportamiento de un bot verificado empieza a desviarse de las reglas que aceptó al registrarse. La compañía lo resume con una analogía: una licencia de conducir dice quién eres y que aprobaste un examen, no si vas a manejar bien en el futuro.

Hasta ahora, el programa Verified Bots resolvía una sola pregunta: si eres quien dices ser. Para entrar hay tres requisitos: identificarse de forma precisa y segura, hacer solo lo que se anunció que se hará y no incurrir en comportamientos abusivos. La identidad se firma con Web Bot Auth y se cataloga en BotBase, el directorio abierto de rastreadores de la compañía.

El nuevo sistema ataca la segunda pregunta: puedo confiar en ti. Cloudflare separa dos conceptos que suelen confundirse:

• Riesgo: la probabilidad de que una petición puntual cause daño. Cambia de un momento a otro.
• Confianza: se construye con comportamiento repetido y consistente a lo largo del tiempo.

Esa distinción es la que habilita la banda de confianza: un rango explicable que muestra qué tan consistente es un bot respetando las preferencias de los sitios, y qué comportamientos observados llevaron a esa nota. No es un juicio permanente —y ahí está la diferencia con una lista negra clásica.

El caso Perplexity: el precedente que explica todo esto

Cloudflare ya aplicó este criterio antes de convertirlo en producto. En 2025 retiró al bot de Perplexity de su lista de bots verificados: según su versión, el rastreador buscó acceder a recursos de sitios que se habían excluido del scraping e intentó eludir los controles cuando esas peticiones fueron bloqueadas.

Search Engine Journal documentó los detalles técnicos que Cloudflare reportó en ese momento: rotación de direcciones IP fuera del rango oficial, cambios de ASN y suplantación de user agent haciéndose pasar por Chrome en macOS. BankInfoSecurity agregó que la compañía dijo haber observado ese comportamiento en decenas de miles de dominios y millones de peticiones por día. Perplexity rechazó la acusación y sostuvo que se estaba confundiendo a un asistente activado por el usuario con un rastreador automático.

El episodio dejó una lección que ahora se convierte en sistema: el robots.txt, por sí solo, no alcanza.

¿Cómo mide Cloudflare si un bot respeta tus reglas?

El sistema parte de dos señales iniciales, que la compañía describe como reglas de sentido común:

• ¿El bot respeta las instrucciones? Se compara su tráfico observado contra las preferencias publicadas en el robots.txt, en línea con el estándar RFC 9309. No se castigan violaciones aisladas, sino patrones repetidos de desprecio por esas preferencias.
• ¿Respondió al feedback directo? Cuando un sitio devuelve un HTTP 429 (Too Many Requests), la pregunta es si el bot baja el ritmo, pausa o sigue igual. Frenar sube la nota; ignorar la señal la baja.

Hay un punto que Cloudflare aclara y conviene tener presente: el robots.txt marca el mínimo de lo que un bot no debería hacer. No implica que todo lo que no está escrito esté permitido. Si un sitio comunica por otras vías que el acceso ya no es bienvenido, un bot responsable debería detenerse.

El protocolo existe desde 1994 —lo creó el ingeniero Martijn Koster— y se estandarizó como RFC recién en 2022, según BankInfoSecurity. Su cumplimiento siempre fue voluntario.

El tráfico de bots ya supera al humano: qué dicen los datos

El contexto explica la urgencia. Tech Times reportó en junio de 2026 que, según Cloudflare Radar, los sistemas automatizados generan el 57,5% de las peticiones HTTP a contenido web, contra un 42,5% de personas. Mashable recogió la misma medición con otro corte: en los siete días previos el 57,4% del tráfico fue de bots, y a lo largo del día el rango oscila entre el 52% y el 62%.

Dos matices importan. La cifra mide peticiones, no atención humana. Y el motor del cambio no es el crawler de buscador de hace una década, sino agentes de IA que navegan en nombre de un usuario. Tech Times citó además que GPTBot de OpenAI creció un 305% en un año y que la Fundación Wikimedia reportó un salto del 50% en el ancho de banda de multimedia desde enero de 2024, con cerca del 65% de su tráfico más pesado originado en bots.

La asimetría económica es la queja de fondo. BankInfoSecurity citó el informe State of the Bots Q1 2025 de TollBit: el scraping subió un 87% respecto del trimestre anterior y la proporción de bots que ignoran el robots.txt saltó del 3,3% al 12,9%. En los sitios monitoreados por esa firma, Bing generaba una visita humana por cada 11 scrapes, OpenAI tenía una proporción de 179 a 1 y Perplexity, de 369 a 1.

¿Qué significa esto para tu startup?

Si tu producto vive en la web, esto te toca de tres maneras.

Primero, tu infraestructura paga la cuenta. Un agente que recorre miles de páginas para completar una tarea consume CPU y ancho de banda sin generar visitas ni conversiones. Wikimedia es el caso extremo, pero cualquier SaaS con contenido público abierto a indexación ve el mismo patrón en menor escala.

Segundo, el robots.txt es una petición, no un candado. TechCrunch reportó que Patreon dejó de pedir por favor y pasó a bloquear activamente a los bots de entrenamiento junto con Cloudflare: al probar la función, los intentos semanales de acceso de esos crawlers pasaron de miles a cero. Es decir, estaban ignorando el archivo de preferencias.

Tercero, si tú operas un bot —un rastreador propio, un agente, una herramienta de datos— tu comportamiento ahora se vuelve un activo verificable. Cloudflare ya usa el sistema internamente y planea abrirlo a todos sus clientes, que podrán elegir el umbral de confianza con el que se maneja el tráfico de bots verificados. También prevé publicar estos puntajes de forma pública en Radar.

Tres acciones concretas para esta semana

• Audita qué bots entran y qué les permites. Revisa si tus políticas de robots.txt y tus reglas de firewall dicen lo mismo. Cloudflare ofrece Bot Preference Sync para alinear preferencias publicadas con políticas configuradas, y Bot Management para decidir cómo se maneja ese tráfico.
• Mide el impacto antes de bloquear. Distingue entre bots de búsqueda (que pueden traerte lectores) y bots de entrenamiento o agentes (que consumen sin devolver clics). La política de Cloudflare para crawlers de uso mixto en páginas con anuncios es un buen punto de partida para definir tu propio criterio.
• Si operas un crawler, declárate y responde al 429. Usar rangos de IP anunciados, firmar las peticiones con Web Bot Auth y bajar el ritmo ante un 429 no es solo cortesía: es lo que va a sostener tu banda de confianza cuando el sistema se abra a todos los clientes.

Conclusión

La verificación de identidad resolvió el quién. El nuevo sistema de Cloudflare intenta resolver el qué haces con eso, con evidencia acumulada en lugar de una promesa. Para un founder, la lectura práctica es simple: el acceso de los bots dejó de ser un tema de infraestructura y pasó a ser un tema de negocio. Quien publica contenido necesita una política activa y no solo un archivo de texto; quien opera automatización necesita demostrar que se comporta bien, porque la confianza ya se está midiendo.

Fuentes

• Continuous accountability for Verified bots (fuente original)
• Cloudflare Delists And Blocks Perplexity From Crawling Websites
• Perplexity's Bots Ignore No-Crawl Rules, Says Cloudflare
• Bot Traffic Passes Humans Online: Cloudflare Says Agentic AI Drove 57.5% Share
• Cloudflare CEO says bot internet traffic has overtaken humans
• Patreon stops asking AI bots not to scrape and starts blocking them