OpenAI, Google y Anthropic adoptan opt-out de scraping

Cuatro gigantes de la IA aceptan un mismo interruptor para el scraping

OpenAI, Google, Microsoft y Anthropic anunciaron que adoptarán un estándar compartido para que los publishers puedan excluir su contenido del scraping con fines de entrenamiento de IA. Hasta ahora, cada sitio debía declarar sus preferencias de forma separada ante cada empresa, lo que obligaba a mantener una lista creciente de reglas por crawler.

Para un founder con un blog, una documentación pública o un marketplace de contenido, esto cambia una parte concreta de la operación: deja de ser un trabajo de mantenimiento permanente y pasa a ser una línea en un archivo que ya existe.

¿Qué es el «policy token» y cómo funciona en robots.txt?

El mecanismo es una señal compartida llamada «policy token», propuesta por Kevin Kelley, technical lead for standards de Anthropic, dentro del Internet Engineering Task Force (IETF). Vive dentro del archivo robots.txt del sitio, el mismo que desde hace años indica qué crawlers pueden o no rastrear una web, ya sea para indexación de búsqueda, archivado o entrenamiento de IA.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

Según el Internet-Draft titulado Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00), fechado el 30 de octubre de 2026 y con expiración el 3 de mayo de 2027, el token se escribe en la línea User-Agent y se combina con las directivas habituales. El borrador define el token __usage_ai-training y da como ejemplo un grupo que combina User-Agent: __usage_ai-training con Disallow: / y Allow: /press-kit/, es decir: sin entrenamiento de IA en todo el sitio salvo la carpeta de prensa.

Dos detalles técnicos importan. Primero, el borrador no introduce directivas ni gramática nuevas: la precedencia por coincidencia más larga y la estructura de grupos de RFC 9309 siguen intactas, así que los parsers existentes ignoran los grupos con tokens que no reconocen. Segundo, los grupos con comodín (User-Agent: *) no deben interpretarse como coincidentes con el policy token, y si ningún grupo del archivo contiene el token, entonces no se expresó ninguna preferencia.

Un punto que conviene no pasar por alto: según el datatracker del IETF, un Internet-Draft individual no está respaldado por el IETF ni tiene estatus formal en su proceso de estandarización. Es una propuesta, no una norma aprobada.

¿Cuándo lo implementa cada empresa?

Los plazos no son homogéneos y eso afecta la planificación de cualquier equipo:

Anthropic ya adoptó la señal.
Google y Microsoft planean soportarla el próximo año.
OpenAI dice que la implementará en los «próximos meses». En su anuncio del 30 de octubre de 2026, la compañía describió el esfuerzo como voluntario y señaló que la señal no reemplaza los controles que ya ofrece vía robots.txt, que seguirán aplicándose.

Microsoft añade un matiz: ofrecerá controles más granulares para excluir el entrenamiento de IA o el grounding —el proceso de apuntar un modelo a una fuente verificada para reducir alucinaciones—. La empresa aclara que los sitios seguirán apareciendo en los resultados de búsqueda de Bing independientemente de sus preferencias.

¿Por qué el sector llegó a este punto?

La propuesta no nace en el vacío. Los publishers llevan meses lidiando con un flujo creciente de crawlers de IA que alimentan modelos con su contenido, y varias iniciativas intentaron responder antes que el IETF.

Cloudflare anunció en julio de 2026 que, a partir del 15 de septiembre de 2026, sus ajustes por defecto bloquearían los crawlers de «uso mixto» —los que mezclan búsqueda, uso de agentes y entrenamiento— en cualquier página que aloje anuncios, salvo que el dueño del sitio cambie la configuración. La empresa también evolucionó su producto Pay Per Crawl hacia Pay Per Use, para cobrar cuando el contenido genera valor y no solo cuando se descarga. Su dato de contexto: más del 50% del tráfico de rastreo de crawlers de IA se gasta re-descargando páginas que no cambiaron.

En paralelo, el estándar Really Simple Licensing (RSL) da a los publishers la capacidad de cobrar a los crawlers que visitan sus sitios. En octubre de 2026, Supertab llevó su producto de clasificación de bots y licencias RSL a Fastly Compute, permitiendo identificar crawlers por la empresa detrás de ellos —OpenAI, Anthropic, Perplexity o Google— y decidir si permitir, bloquear o cobrar el acceso. Su material cita el informe Threat Insights 2026 de Fastly, según el cual los bots ya representan más del 49% de todo el tráfico.

Hay además una discusión técnica de fondo que el policy token no resuelve. Gary Illyes de Google recordó en un video de Search Central que, tal como lo define RFC 9309, robots.txt es un protocolo de preferencia de acceso: gobierna qué URLs puede pedir un crawler, no qué se hace con el contenido después. Para bloquear un crawler de IA específico hay que apuntar explícitamente a su token de user-agent. El control de Google para uso de contenido en Gemini es Google-Extended, que no tiene user agent propio y no afecta la inclusión en búsqueda ni es señal de ranking.

¿Qué significa esto para tu startup?

Si tu producto vive de contenido propio —un blog técnico, una base de documentación, un directorio, un medio— este anuncio te da una palanca nueva, pero no una solución mágica. El token es una preferencia, no una obligación legal: el borrador de vocabulario del grupo de trabajo aclara que no garantiza que las preferencias se cumplan y deja en manos del receptor la decisión de seguirlas. Y como es un Internet-Draft individual, todavía no tiene estatus formal.

Dicho eso, hay tres cosas que puedes hacer hoy sin esperar a que el estándar madure:

Audita tu robots.txt y decide por propósito, no por bot. Separa lo que quieres para búsqueda (que tu sitio aparezca) de lo que quieres para entrenamiento. En el caso de OpenAI, sus controles son independientes entre sí: GPTBot cubre contenido que puede usarse para entrenar modelos fundacionales, OAI-SearchBot controla la aparición en las funciones de búsqueda de ChatGPT, OAI-AdsBot valida páginas enviadas como anuncios y ChatGPT-User maneja visitas disparadas por acciones del usuario, donde las reglas de robots.txt pueden no aplicar. Puedes permitir búsqueda y bloquear entrenamiento al mismo tiempo.
Mide el tráfico de bots antes de bloquear. Si más de la mitad del rastreo que recibes re-descarga páginas sin cambios, como reporta Cloudflare, estás pagando ancho de banda y cómputo por nada. Clasifica primero, decide después: bloquear todo corta también el tráfico legítimo que sí te trae usuarios.
Si tu contenido tiene valor comercial, publica términos legibles por máquina. RSL 1.0 permite publicar condiciones de licencia en tu propio dominio, y ya hay integraciones que las aplican en el edge sin cambiar de CDN. Es la vía para pasar de «bloquear o regalar» a «cobrar».

Lo que viene

El grupo de trabajo del IETF detrás de esta conversación incluye participantes de OpenAI, Google, Microsoft, Meta, Cloudflare, la Common Crawl Foundation, News Corp, el Financial Times, la BBC, la Electronic Frontier Foundation y Creative Commons, entre otros. El borrador de vocabulario que define qué significa «entrenamiento de IA» —escrito por Paul Keller de Open Future y Martin Thomson de Mozilla— sigue marcado como documento de grupo de trabajo y advierte que su contenido aún no refleja consenso.

Para un founder, la lectura práctica es esta: el opt-out de scraping dejó de ser una negociación bilateral con cada proveedor de IA y empieza a parecerse a una infraestructura compartida. Quien tenga su política de contenido clara y documentada va a poder moverse más rápido cuando los plazos se cumplan.