Cloudflare y OpenAI indexan millones de páginas nuevas

Cloudflare y OpenAI sumaron cientos de millones de páginas al índice de ChatGPT

El piloto de investigación que Cloudflare y OpenAI lanzaron en julio ya tiene resultados: usando señales de red sobre apenas el 1% de la infraestructura total de Cloudflare, OpenAI descubrió e indexó cientos de millones de páginas web nuevas. Para un founder, la lectura es directa: hay una capa nueva de descubrimiento que decide si tu contenido existe o no para los usuarios de ChatGPT.

El experimento no consistió en entrenar modelos con tu contenido. Cloudflare lo aclara en el anuncio: el piloto usa metadatos sobre la web para búsqueda y descubrimiento, no comparte el contenido de las páginas para entrenamiento. La pregunta que respondieron fue otra: ¿puede una red que ve el tráfico en tiempo real decirle a un buscador de IA dónde hay páginas útiles que todavía no conoce?

¿Cómo funciona el descubrimiento de contenido para IA?

La respuesta corta es que el problema del rastreo cambió de forma. Antes, descubribilidad era rankear en una página de resultados. Hoy, un sistema de IA tiene que encontrar la fuente correcta, entender si aporta algo distinto y decidir si la cita, la resume o la convierte en una visita.

Cloudflare aporta tres tipos de señales desde su red:

• Filtrado: descarta direcciones que no existen, que redirigen a la home o que devuelven copias del mismo contenido. Los bots piden archivos que no están y algunos sitios redirigen casi cualquier URL a su portada; reconocerlo evita trabajo inútil antes de que el crawler descargue la página.
• Señales de cambio: avisan cuándo una página vale otra visita y cuándo no. Según TechCrunch, datos de Cloudflare indican que más del 50% del tráfico de rastreo de crawlers de IA se gasta en volver a pedir páginas que no cambiaron.
• Detección de páginas dañinas: marcar una sola página comprometida (por ejemplo, un formulario de login falso plantado por un atacante) en lugar de penalizar el dominio completo.

OpenAI evalúa y ordena esos resultados de forma independiente, según el anuncio. La red no decide el ranking: solo amplía el conjunto de candidatos.

El contexto: más de la mitad del tráfico web ya no es humano

El piloto no ocurre en el vacío. Cloudflare sostiene que más del 20% de la web está detrás de su red, lo que le da una posición privilegiada para observar cómo cambia el contenido en tiempo real, según el comunicado difundido por City AM.

«Al compartir nuestras señales de red podemos encontrar una mejor manera de hacer la búsqueda con IA más eficiente y ayudar a la gente a obtener respuestas de calidad más rápido», dijo Matthew Prince, cofundador y CEO de Cloudflare. Nick Ryder, VP de Research de OpenAI, agregó que la información actualizada es clave para dar respuestas precisas en ChatGPT.

El telón de fondo es un cambio de proporción: los bots superaron por primera vez el tráfico humano online, un hito que según TechCrunch no se esperaba hasta el año siguiente. Cloudflare Radar midió 60,6% de solicitudes automatizadas sobre contenido HTML en los siete días previos al 10 de agosto de 2026, contra 39,4% humano, según Search Engine Journal. Esa cifra incluye buscadores y escáneres, así que es un techo, no un conteo exacto de agentes.

La otra cara: Cloudflare también está cerrando la puerta

Mientras anuncia más descubrimiento, Cloudflare endureció el acceso. Desde el 15 de septiembre de 2026, sus ajustes por defecto bloquean los crawlers de «uso mixto» —los que mezclan búsqueda, agentes y entrenamiento— en cualquier página que muestre anuncios, salvo que el dueño del sitio lo habilite, según TechCrunch y The Next Web. La regla aplica a clientes nuevos, sitios nuevos de clientes existentes y todos los usuarios gratuitos que no cambiaron su configuración.

Cloudflare apunta al «buscador más grande del mundo» —Google, sin nombrarlo— porque su Googlebot mezcla indexación con entrenamiento y le da acceso a cerca del doble de información que a las AI companies rivales, según TechCrunch. El dilema para un publisher es conocido: bloquear el bot puede significar desaparecer de la búsqueda.

En paralelo, la compañía convirtió su Pay Per Crawl (lanzado en beta privada el 1 de julio de 2025) en Pay Per Use, que cobra cuando el contenido genera valor y no solo cuando se descarga. Los primeros socios son Ceramic.ai y You.com. En agosto de 2026 sumó Cloudflare Wallets y el identificador cloudflare.pay para que los agentes paguen lo que consumen, según Search Engine Journal.

El dato que explica la urgencia: un estudio de campo citado por The Next Web encontró que los AI Overviews de Google recortaron los clics salientes en cerca del 40%. El tráfico que financiaba la web abierta se está evaporando.

¿Qué significa esto para tu startup?

Para un equipo pequeño, la noticia tiene dos filos. El bueno: si tu contenido es específico y útil, ahora hay más superficie donde aparecer. El malo: si tu página depende de plantillas pesadas, el índice de ChatGPT puede estar guardando muy poco de ella. Según Search Engine Journal, el índice propio de OpenAI conserva el título y unos 200 caracteres desde el inicio de la página, así que todo lo que tu template muestre antes del primer párrafo consume ese espacio.

Tres acciones concretas para esta semana:

• Pon el valor en las primeras líneas. Si tu plantilla mete un banner, un menú y un aviso de cookies antes del contenido, el extracto que la IA leerá será basura. Mueve la respuesta concreta al primer párrafo.
• Audita tu configuración de bots antes de tocar nada. Revisa en tu panel de Cloudflare qué está bloqueado y qué no. Un bloqueo permanente escrito en un contrato o en una política de contenido es difícil de deshacer cuando el acceso pago se generalice.
• Escribe para preguntas concretas, no para keywords genéricas. El propio anuncio lo dice: alguien que arregla una lavadora necesita el manual de su modelo exacto. Esas páginas valen aunque casi nadie las enlace. Un tutorial específico de tu producto rinde más que una landing genérica.
• Mide el tráfico de referencia de IA por separado. Si no sabes cuántas visitas te llegan desde asistentes, no puedes decidir si te conviene abrir o cerrar el acceso. Configura el seguimiento antes de que la decisión sea urgente.

Conclusión

El piloto de Cloudflare y OpenAI confirma algo que los equipos de contenido intuían: la descubribilidad dejó de ser un ranking y pasó a ser una negociación entre señales técnicas, permisos y calidad de contenido. La fase siguiente, según el anuncio, se enfocará en mejorar la selección de páginas, probar señales de cambio más rápidas y medir qué pasa después de que el contenido se descubre.

Para una startup hispanohablante, la ventana es real. La mayoría de los sitios de la región todavía no piensa en cómo se ve su contenido dentro de un asistente de IA. Quien ordene su estructura, su configuración de crawlers y sus primeros párrafos ahora, va a estar en el índice cuando la competencia recién empiece a preguntarse por qué no aparece.

Fuentes

• Cloudflare and OpenAI: making AI discovery better for everyone (fuente original)
• Cloudflare Announces Research Pilot with OpenAI
• Cloudflare’s new policy pushes AI companies to pay for publishers’ content
• Cloudflare gives AI crawlers a September deadline: pay publishers or get blocked
• Cloudflare Gives AI Agents Wallets That Pay For What They Access
• ChatGPT’s Index, GA Benchmarks, Google Refiles Complaint – SEO Pulse

Artículos relacionados:

Cloudflare OS: la plataforma open source que democratiza agentes de IA en empresas Entre empresas europeas con CDN, 9 de cada 10 usan Cloudflare Cloudflare integra a Cursor en sus Sandboxes de IA Cloudflare + OpenAI GPT-5.4: agentes IA para empresas Cloudflare Wallets: identidad y pagos para agentes de IA en 2026