robots.txt y bots de IA: GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot y Google-Extended

Resumen rápido

• Cada empresa de IA usa varios bots con funciones distintas: unos rastrean para entrenar modelos, otros indexan para su buscador y otros visitan una página cuando un usuario lo pide.
• Puedes bloquear el entrenamiento y seguir apareciendo en las respuestas. En OpenAI, bloquea GPTBot y permite OAI-SearchBot; en Anthropic, bloquea ClaudeBot y permite Claude-SearchBot y Claude-User.
• Google-Extended no te saca de Google Search ni de los AI Overviews. Según Google, controla el entrenamiento de Gemini y el grounding en la app de Gemini y en Vertex AI.
• Los agentes que actúan a petición del usuario (ChatGPT-User, Perplexity-User) pueden no aplicar robots.txt, según sus propias empresas.
• robots.txt no es un mecanismo de autorización. Y aunque esté bien, tu CDN o tu cortafuegos pueden estar bloqueando a los bots igualmente.

Los tres tipos de bot

Antes de tocar nada conviene separar tres funciones, porque bloquear una no tiene los mismos efectos que bloquear otra:

1. Entrenamiento. Recogen contenido que puede usarse para entrenar modelos. Bloquearlos no te saca de las respuestas con búsqueda.
2. Búsqueda. Indexan páginas para que el buscador de la IA las pueda encontrar y citar. Son los que importan para que te citen.
3. Usuario. Visitan una página concreta porque un usuario lo ha pedido en ese momento (por ejemplo, «resume esta URL» o una búsqueda en directo).

Bot a bot, según la documentación oficial

OpenAI

Fuente: OpenAI, «Overview of OpenAI Crawlers».

• OAI-SearchBot (búsqueda): sirve para mostrar webs en los resultados de búsqueda de ChatGPT. Las webs que lo bloquean no se muestran en las respuestas de búsqueda, aunque pueden aparecer como enlaces de navegación. OpenAI recomienda permitirlo y permitir sus IPs publicadas. Los cambios tardan unas 24 horas en aplicarse.
• GPTBot (entrenamiento): rastrea contenido que puede usarse para entrenar sus modelos fundacionales. Bloquearlo indica que no quieres que tu contenido se use para eso.
• ChatGPT-User (usuario): visita páginas cuando un usuario pregunta algo a ChatGPT o a un GPT personalizado. OpenAI aclara que no se usa para decidir qué aparece en la búsqueda y que, como la acción la inicia un usuario, las reglas de robots.txt pueden no aplicarse.

Los ajustes son independientes: puedes permitir uno y bloquear otro.

Perplexity

Fuente: Perplexity, «Perplexity Crawlers».

• PerplexityBot (búsqueda): muestra y enlaza webs en los resultados de Perplexity. Perplexity dice que no se usa para entrenar modelos fundacionales.
• Perplexity-User (usuario): visita páginas cuando un usuario pregunta. Como la visita la pide una persona, generalmente ignora robots.txt.

Anthropic

Fuente: Anthropic, «Does Anthropic crawl data from the web, and how can site owners block the crawler?».

• ClaudeBot (entrenamiento): recoge contenido que puede contribuir al entrenamiento. Bloquearlo excluye tus contenidos futuros.
• Claude-SearchBot (búsqueda): mejora la calidad de los resultados de búsqueda. Bloquearlo puede reducir tu visibilidad.
• Claude-User (usuario): accede a webs cuando alguien pregunta a Claude. Bloquearlo impide recuperar tu contenido para esa respuesta.

Anthropic dice que todos sus bots respetan robots.txt, que admite Crawl-delay y que bloquear por IP no es fiable porque les impide leer tu robots.txt.

Google

Fuentes: rastreadores comunes de Google y funciones de IA y tu web.

• Googlebot es el que manda para la búsqueda, también para los AI Overviews y el AI Mode. Google dice que, como la IA está integrada en la búsqueda, las directivas para Googlebot son el control. Para limitar lo que se muestra, se usan nosnippet, data-nosnippet, max-snippet o noindex.
• Google-Extended no es un rastreador con su propio user-agent: es un token de control en robots.txt. Gestiona si el contenido que Google rastrea puede usarse para entrenar futuras versiones de Gemini y para el grounding en la app de Gemini y en Vertex AI. Google aclara que no afecta a la inclusión en Google Search ni es una señal de clasificación.

Ese último punto tiene una consecuencia poco comentada: si bloqueas Google-Extended, no sales de los AI Overviews, pero puedes estar limitando que la app de Gemini use tu contenido para fundamentar sus respuestas.

Tabla resumen

Bot	Empresa	Tipo	Si lo bloqueas
OAI-SearchBot	OpenAI	Búsqueda	No sales en las respuestas de búsqueda de ChatGPT
GPTBot	OpenAI	Entrenamiento	No se usa tu contenido para entrenar
ChatGPT-User	OpenAI	Usuario	Puede no aplicar robots.txt
PerplexityBot	Perplexity	Búsqueda	Sales del índice de Perplexity
Perplexity-User	Perplexity	Usuario	Generalmente ignora robots.txt
Claude-SearchBot	Anthropic	Búsqueda	Menos visibilidad en Claude
Claude-User	Anthropic	Usuario	Claude no puede leerte a petición del usuario
ClaudeBot	Anthropic	Entrenamiento	No se usa tu contenido para entrenar
Google-Extended	Google	Control (entrenamiento y grounding de Gemini)	No afecta a Google Search

Un robots.txt de ejemplo

Para una web que quiere aparecer en las respuestas de todos los motores pero no ceder contenido para entrenamiento:

# Búsqueda y usuario: permitidos
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# Entrenamiento: bloqueado
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# El resto, como siempre
User-agent: *
Allow: /
Disallow: /admin

Sitemap: https://tudominio.com/sitemap.xml

Dos avisos antes de copiarlo:

• Google-Extended no está en el ejemplo a propósito. Bloquearlo es una decisión legítima sobre entrenamiento, pero también puede afectar al grounding de la app de Gemini. Decide sabiendo eso.
• Según el estándar de robots.txt (RFC 9309), un rastreador obedece el grupo cuyo User-agent coincide con su nombre y sólo recurre al grupo * si no hay ninguno. Si defines un grupo para GPTBot, las reglas de User-agent: * ya no se le aplican. Repite en cada grupo las exclusiones que necesites.

Si prefieres lo contrario, abrir todo a todos los bots de IA (como hacemos en nuestra propia web, porque vendemos visibilidad en sus respuestas), basta con no tener grupos que los bloqueen.

Lo que robots.txt no hace

El RFC 9309 lo dice sin rodeos: las reglas de robots.txt no son una forma de autorización de acceso. Son una petición que los rastreadores bien educados respetan. Si tienes contenido que no debe leer nadie, protégelo con autenticación.

Y al revés: aunque tu robots.txt permita a un bot, puede que no llegue. Los motivos más habituales:

• Protección contra bots del CDN (modos «anti-bot» o «bloquear rastreadores de IA») activada por defecto.
• Reglas del cortafuegos que bloquean user-agents desconocidos o rangos de IP de centros de datos.
• Respuestas 403 o 503 para el bot mientras la web funciona para personas.

Perplexity dedica una sección entera de su documentación a configurar cortafuegos en Cloudflare y AWS por este motivo, y OpenAI recomienda permitir sus rangos de IP publicados.

Cómo comprobarlo

1. Tu robots.txt: pasa tu dominio por el comprobador de bots de IA. Te dice, bot a bot, si está permitido, y qué regla lo decide.
2. Tu CDN y tu cortafuegos: revisa en sus registros si hay bloqueos a los user-agents de la tabla.
3. Tus registros de servidor: busca visitas de OAI-SearchBot, PerplexityBot o Claude-SearchBot. Si nunca aparecen, algo los está parando (o todavía no te han descubierto).

La auditoría técnica semanal de Citable incluye el acceso de los rastreadores de IA en robots.txt y avisa si un bot de búsqueda queda bloqueado. Está en todos los planes; puedes verlos en precios.

Preguntas frecuentes

¿Bloquear GPTBot me saca de ChatGPT?

No de la búsqueda. Según OpenAI, GPTBot se usa para entrenamiento y OAI-SearchBot para la búsqueda de ChatGPT, y se controlan por separado. Para aparecer en las respuestas con búsqueda, permite OAI-SearchBot.

¿Bloquear Google-Extended me saca de los AI Overviews?

No. Google dice que Google-Extended no afecta a la inclusión en Google Search. Los AI Overviews y el AI Mode se controlan con las directivas para Googlebot y con los controles de fragmento. Google-Extended sí afecta al entrenamiento de Gemini y al grounding en la app de Gemini y Vertex AI.

¿Los bots de IA respetan robots.txt?

Los de entrenamiento y búsqueda de OpenAI, Perplexity, Anthropic y Google dicen respetarlo. Los que actúan a petición del usuario varían: OpenAI dice que ChatGPT-User puede no aplicarlo y Perplexity que Perplexity-User generalmente lo ignora; Anthropic dice que todos sus bots lo respetan.

¿Qué pasa si no tengo robots.txt?

Si /robots.txt no existe (un error 4xx, como un 404), el RFC 9309 dice que los rastreadores pueden acceder a todo. No es un problema para aparecer en la IA, aunque conviene tenerlo para declarar el sitemap y excluir zonas privadas.

Conclusión

La mayoría de webs que no aparecen en ChatGPT o Perplexity no tienen un problema de contenido, sino de acceso: un bloqueo genérico, un modo anti-bot del CDN o una regla copiada de una plantilla. Separa entrenamiento de búsqueda, permite los bots de búsqueda y usuario, decide con calma qué hacer con el entrenamiento y comprueba que el cortafuegos opina lo mismo que tu robots.txt.