Robots.txt: una línea para bloquear el entrenamiento IA

Una línea reemplaza a cuatro configuraciones

Google, Microsoft, OpenAI y Anthropic se comprometieron a respetar una misma señal en el archivo robots.txt para que cualquier web pueda negarse a que su contenido entrene modelos de IA generativa. Hasta ahora había que bloquear el rastreador de cada empresa por separado; con esta propuesta basta una regla común.

Para un founder que publica documentación, un blog técnico o un producto SaaS, el cambio es relevante por una razón muy concreta: deja de ser un trabajo de mantenimiento. Cada vez que aparecía un nuevo rastreador había que investigar su nombre, añadirlo y esperar que nadie se olvidara. Con una señal única, esa lista deja de crecer sola.

La idea parte de un borrador presentado en el IETF por Kevin Kelley, de Anthropic, el 30 de octubre, y ese mismo día Google, Microsoft y OpenAI anunciaron que lo apoyarán. Lo cuenta The Next Web.

Leíste lo que hace la IA. ¿Y en tu negocio?

Un agente de IA puede quedarse con parte de tu día: ordenar lo pendiente y pedirte el OK antes de actuar. El Kit «tu mano derecha con IA» trae un video de 11 minutos y una ficha para dejar al tuyo trabajando. CAR está cerrada por ahora; al anotarte, te avisamos cuando abra.

👥 Quiero el Kit →

¿Cómo funciona la nueva señal en robots.txt?

La entrada no apunta a un rastreador concreto, sino a un uso. En lugar del nombre de un bot, la web escribe el identificador __usage_ai-training y debajo lista las rutas que no quiere que se usen para entrenar, con las mismas reglas de siempre. El ejemplo del borrador bloquea toda la web salvo la sección de prensa:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

El borrador fija varios matices que conviene entender antes de copiar y pegar. Una web que no incluya esa entrada no ha expresado ninguna preferencia. Las reglas genéricas para todos los bots (User-Agent: *) no cuentan como una negativa a que se entrene con ella, de modo que nadie queda dentro o fuera por accidente. Y los acuerdos privados entre una web y una empresa de IA pueden imponerse a lo que diga el archivo.

Hay otro detalle clave: la señal expresa una preferencia de uso, no una orden de rastreo. Según el propio borrador, no es una directiva sobre si el bot puede visitar o no la página. Para impedir la visita sigue haciendo falta bloquear a cada rastreador por su nombre.

Según unite.ai, el borrador no introduce gramática nueva: el lenguaje de rutas y la estructura de grupos del estándar robots.txt publicado como RFC 9309 no cambian. Eso significa que los analizadores que ya existen en internet ignorarán los grupos con tokens de política, igual que ignorarían cualquier agente de usuario que no reconozcan. No hay riesgo de romper nada.

¿Cuándo empezará a respetarla cada empresa?

Ninguna lo hace todavía de forma completa, y los plazos van de «en los próximos meses» a febrero de 2027. Cada compañía dio su propio calendario:

Anthropic. Kelley escribió en la lista de correo del IETF que la empresa ya ha empezado a implementarla, que complementa sus controles actuales en lugar de sustituirlos y que el despliegue en todos sus servicios llevará tiempo. No da fecha.
OpenAI. Según The Next Web, su objetivo es implantarla «en los próximos meses», y sus controles actuales, como el bloqueo de GPTBot, siguen valiendo.
Google. John Mueller, Search Advocate de Google, explica en el blog de Search Central que, si una web usa la señal para negarse al entrenamiento y no menciona Google-Extended, Google lo interpretará como si hubiera bloqueado Google-Extended. La compañía apunta a 2027.
Microsoft. Es la más concreta: empezará a respetar las nuevas preferencias a partir del 1 de febrero de 2027, y desde el 1 de marzo de 2027 dejará de leer las etiquetas NoArchive y NoCache, las que usaba desde 2023, como preferencias de entrenamiento o de respuestas con IA.

¿Qué pierde una web que dice no al entrenamiento con IA?

Depende de la empresa, y aquí está la parte que más afecta a quien vive de su contenido. La señal común solo cubre el entrenamiento, pero Google la conecta con Google-Extended, que también controla si el contenido sirve para fundamentar las respuestas de la aplicación Gemini. Mueller lo deja claro: las webs que permiten Google-Extended pueden aparecer en esas respuestas y recibir clics.

Microsoft separa las dos cosas. Además del entrenamiento, añade una preferencia propia por página para lo que llama grounding, el uso del contenido para alimentar respuestas generadas. Ofrece tres opciones: permitirlo, prohibirlo o una intermedia, DisallowExtended, que lo permite en productos de Microsoft como Copilot o Microsoft 365, pero no en los servicios que vende a otras empresas. La compañía avisa de que bloquear ese uso reduce la visibilidad de la marca en sus respuestas con IA, pero no cambia la posición de la página en los resultados normales de Bing. Y añade una frase que resume el alcance del acuerdo: ninguna de las dos opciones garantiza inclusión, tráfico ni pago.

¿Por qué ahora y qué papel juega Europa?

Porque los editores y los reguladores llevaban tiempo pidiendo un control común. Google lo dice expresamente en su anuncio y lo vincula al Código de buenas prácticas de la UE para los proveedores de modelos de IA de uso general, que reconoce robots.txt como la vía principal para que los editores expresen preferencias legibles por máquinas. Encaja con otras decisiones recientes, como la orden de la CMA británica para que los editores puedan salir de las AI Overviews. El borrador agradece además la colaboración de personas del Financial Times, la BBC, Bertelsmann y el European Publishers Council.

Meta es la gran ausente. Su responsable de comunicación, Andy Stone, mostró en X su apoyo a una señal común, según recoge The Verge, pero no dijo si la respetará. Tampoco conviene exagerar su estatus: es un borrador individual sin el respaldo formal del IETF, y caduca el 3 de mayo de 2027 si no se revisa.

El contexto que explica la urgencia

La presión no viene solo de los editores. Según Cloudflare, recogido por DiarioBitcoin, el tráfico automatizado superó el 50% de las solicitudes web en junio y ya representa casi el 58% del total. La actividad de agentes de IA capaces de hacer clic en enlaces y completar formularios creció cerca de un 8.000% en un año, de acuerdo con un informe de HUMAN Security.

El Year in Review 2025 de Cloudflare, citado por Wired, pone otro número sobre la mesa: los bots de IA representaron en promedio el 4,2% de las solicitudes HTML registradas durante el año, y el rastreo destinado a entrenamiento concentra la mayor parte de ese volumen, hasta siete u ocho veces el de búsqueda.

También hay alternativas en marcha. The Verge menciona el estándar RSL (Really Simple Licensing), que permite cobrar a los rastreadores que visitan un sitio, y el bloqueo por defecto de rastreadores de IA que aplica Cloudflare. The Next Web recuerda que en julio Cloudflare dijo a los rastreadores de IA que pagaran o quedaran bloqueados, y que su CEO advirtió que los bots podrían llegar a generar 1.000 veces el tráfico humano. En Australia, la ABC y SBS piden que las empresas de IA paguen por las noticias.

Qué significa esto para tu startup

Si tu producto publica contenido —documentación, blog, changelog, guías técnicas— ese contenido ya está alimentando modelos que después compiten contigo en la capa de respuestas. La señal común no resuelve el problema de fondo, pero te da una herramienta que antes no existía: expresar tu preferencia una sola vez.

Acciones concretas que puedes tomar esta semana:

Añade la línea ya, aunque el plazo sea 2027. Anthropic ya empezó a implementarla y las demás la leerán cuando lleguen sus fechas. No cuesta nada y no rompe nada: los analizadores que no la entienden simplemente la ignoran.
No quites ninguno de los bloqueos que ya tienes. La señal complementa a GPTBot, Google-Extended y compañía, no los sustituye. Si eliminas los bloqueos por rastreador, pierdes cobertura frente a las empresas que aún no implementan el token.
Separa tus rutas por intención. El ejemplo del borrador deja fuera todo el sitio menos el kit de prensa. Tú puedes hacer lo mismo: bloquear el entrenamiento en tu documentación de producto y dejarlo abierto en las páginas que quieres que se citen.
Decide tu postura sobre el grounding. Es la decisión con más impacto comercial: permitir que tu contenido fundamente respuestas de Gemini o Copilot puede traerte clics, pero también puede resolverle la duda al usuario sin que visite tu web. No hay respuesta universal; depende de si tu modelo de negocio vive del tráfico o de la conversión directa.

Conclusión

Es el avance más útil en años para quien publica en internet, porque convierte cuatro configuraciones distintas en una sola y deja por escrito qué significa «entrenar». Pero no cambia la relación de fuerzas: es una preferencia que las empresas se comprometen a respetar por voluntad propia, sin auditoría ni sanción, y que no toca el dinero, que es lo que de verdad piden los medios.

Mientras tanto, el problema de fondo —que los bots consumen la web abierta sin devolver casi nada— sigue igual de vivo. Si en 2027 la señal funciona y las cuatro empresas la cumplen, será un estándar de verdad. Hasta entonces, el consejo es simple: añade la línea ya y no quites ninguno de los bloqueos que tengas.