Robots.txt y bots de IA: qué bloquear y qué dejar pasar

Hace dos años la pregunta era sencilla: ¿dejo que la IA use mi contenido o no? Añadías User-agent: GPTBot y Disallow: / y listo. Hoy esa regla sola puede sacarte de las respuestas de ChatGPT, dejar pasar a otros veinte bots y no proteger lo que querías proteger. El motivo es que cada empresa de IA ya no tiene un bot, sino varios, y cada uno hace algo distinto.

Los tres tipos de bot de IA

La mayoría de webs que quieren «proteger su contenido» en realidad quieren bloquear solo el primer tipo. Y la mayoría de las que quieren «aparecer en ChatGPT» necesitan que los otros dos puedan entrar.

Los bots que conviene conocer

Dos matices importantes. Primero, Google-Extended y Applebot-Extended no rastrean nada: son nombres que lees en robots.txt para decidir si el contenido que ya recoge Googlebot o Applebot puede usarse para entrenar sus modelos. Segundo, los AI Overviews y el Modo IA de Google dependen de Googlebot, no de Google-Extended. Bloquear Google-Extended no te saca de ahí.

La lista cambia cada pocos meses. Antes de tocar nada, consulta la documentación oficial de cada empresa, que publica sus agentes y, en muchos casos, los rangos de IP desde los que rastrean.

Qué bloquear según tu negocio

• Vives de que te descubran (servicios, software, tiendas, marca personal). Deja pasar a todos. Que un asistente te recomiende es un canal de captación, como explica la guía de cómo aparecer en ChatGPT y Perplexity. Si te preocupa el entrenamiento, bloquea solo los de entrenamiento.
• Vives de la publicidad o de las suscripciones (medios, contenido de pago). Bloquea el entrenamiento y piensa bien el resto. Cada respuesta completa es una visita que no llega, pero salir de todas las respuestas también te quita visibilidad. Muchos medios permiten la búsqueda y bloquean el entrenamiento.
• Tienes contenido que no debería salir de tu web (zonas privadas, datos de clientes). Eso no se protege con robots.txt: se protege con autenticación. robots.txt es público y cualquiera puede leer qué rutas intentas esconder.

Tres robots.txt de ejemplo

1. Bloquear solo el entrenamiento, manteniendo las citas:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: meta-externalagent
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Allow: /

2. Permitir todo menos una sección, por ejemplo artículos de pago:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /premium/

User-agent: *
Allow: /

3. Salir de todo lo que sea IA. Añade al primer ejemplo los bots de búsqueda y de usuario (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User). Ten claro el precio: desapareces como fuente en esos asistentes.

Agrupar varios User-agent encima de una misma regla es válido y más fácil de mantener que repetir el bloque. Lo que no funciona es escribir User-agent: *AI*: robots.txt no admite comodines en el nombre del agente.

El bloqueo que no sabías que tenías

La causa más frecuente de que una web no aparezca en los asistentes no está en robots.txt, sino en la CDN o el cortafuegos. Cloudflare, por ejemplo, empezó en 2025 a bloquear por defecto a los rastreadores de IA en los dominios nuevos, y otros proveedores tienen reglas de «protección contra bots» que los meten en el mismo saco que el spam.

Si tu robots.txt permite a OAI-SearchBot pero la CDN le devuelve un 403, el resultado es el mismo que si lo hubieras bloqueado. Revisa la configuración de bots de tu proveedor y decide allí lo mismo que decidiste en robots.txt.

Lo que robots.txt no puede hacer

• No es una barrera. Es una petición. Los bots serios la respetan; los demás, no. Para esos hace falta bloquear por agente o por IP en el servidor.
• No borra lo que ya se recogió. Si tu contenido entró en un entrenamiento anterior, bloquear hoy no lo saca de ahí.
• No controla lo que otros publican. Si tu texto está copiado en otra web o citado en un foro, los bots lo leerán allí.
• No aplica siempre a los agentes de usuario. Algunos proveedores indican que sus visitas a petición de un usuario no siguen robots.txt, porque tratan esa visita como la de una persona.

Cómo comprobar que funciona

1. Lee tu robots.txt en producción, no el del repositorio. Es habitual que un despliegue lo sobrescriba con el del entorno de pruebas, y eso también afecta a Google: la guía de páginas que Google no indexa explica cómo detectarlo.
2. Busca los agentes en los registros del servidor. Si permitiste a OAI-SearchBot y no aparece nunca, o aparece con respuestas 403, el bloqueo está en otro sitio.
3. Pregunta a los asistentes por tu marca o por una página concreta y comprueba si la citan o si dicen que no pueden acceder.
4. Mide lo que llega. Las visitas que vienen de ChatGPT o Perplexity se pueden separar en la analítica, como se explica en cómo medir el tráfico que llega desde la IA.

Resumido: separa entrenamiento, búsqueda y visitas de usuario, decide cada una según de qué vive tu web y comprueba que la CDN dice lo mismo que el robots.txt. Casi todos los problemas vienen de tratar a todos los bots de IA como si fueran uno.