Un robots.txt para los buscadores de IA.
Partes de tu fichero actual, decides bot a bot y te llevas un robots.txt nuevo con sólo los cambios que has pedido, marcados línea a línea.
1. Tu robots.txt actual
2. Elige qué puede hacer cada bot de IA
Buscadores y motores de respuesta
Indexan páginas para responder. Si los bloqueas, desapareces de sus respuestas.
OAI-SearchBot· OpenAI ahora puederesultados de búsqueda de ChatGPT
PerplexityBot· Perplexity ahora puedeíndice y citas de Perplexity
Claude-SearchBot· Anthropic ahora puederesultados de búsqueda de Claude
Googlebot· Google ahora puedeGoogle Search, incluidos AI Overviews y AI Mode
Bingbot· Microsoft ahora puedeBing y Copilot; el índice de Bing es además una de las fuentes de otros asistentes
Applebot· Apple ahora puedeSiri, Spotlight y sugerencias de Safari
DuckAssistBot· DuckDuckGo ahora puederespuestas con IA de DuckDuckGo
Agentes a petición del usuario
Abren una página cuando alguien le pregunta por ella a un asistente.
ChatGPT-User· OpenAI ahora puedepáginas que abre ChatGPT cuando un usuario lo pide
Perplexity-User· Perplexity ahora puedepáginas que abre Perplexity cuando un usuario lo pide
Claude-User· Anthropic ahora puedepáginas que abre Claude cuando un usuario lo pide
Meta-ExternalFetcher· Meta ahora puedepáginas que abre Meta AI cuando alguien comparte un enlace o le pregunta por él
MistralAI-User· Mistral ahora puedepáginas que abre Le Chat cuando alguien se lo pide
Rastreadores de entrenamiento
Recogen datos para entrenar modelos. Bloquearlos es una decisión legítima y no te saca de las respuestas de búsqueda.
GPTBot· OpenAI ahora puedeentrenamiento de los modelos de OpenAI
ClaudeBot· Anthropic ahora puedeentrenamiento de los modelos de Anthropic
Google-Extended· Google ahora puedeentrenamiento de Gemini y su uso en las apps de Gemini; NO controla AI Overviews (eso depende de Googlebot y de nosnippet)
Applebot-Extended· Apple ahora puedeentrenamiento de los modelos de Apple
CCBot· Common Crawl ahora puedeCommon Crawl, un conjunto de datos público con el que se entrenan muchos modelos
Meta-ExternalAgent· Meta ahora puedeentrenamiento de los modelos de Meta
Bytespider· ByteDance ahora puedeentrenamiento de los modelos de ByteDance
3. Tu robots.txt nuevo
3 líneas cambian
+ añadida− quitada
User-agent: *Allow: /
Súbelo como robots.txt a la raíz de tu dominio, en lugar del actual. Después, pásale el comprobador de bots de IA para confirmarlo. Abrir el comprobador de bots de IA
Que te puedan leer es el primer paso. ¿Te citan?
El informe gratuito hace hasta cinco preguntas de tus clientes a tres motores de IA y te enseña a quién citan en tu lugar.
Pedir el informe gratisLos planes de pago revisan cada semana el robots.txt, los cortafuegos y una treintena de cosas más. Ver planes
Cómo funciona este generador
- Permitir quita sólo las reglas que bloquean al bot la web entera. Las reglas de sección que heredaba del grupo * (como /admin/) se quedan.
- Bloquear añade al final un grupo propio con Disallow: / y saca al bot de los grupos que compartía, sin tocar a los demás agentes de esos grupos. Si ya estaba bloqueado del todo, no cambia nada.
- Dejar no toca al bot. Tampoco se tocan los comentarios, los sitemaps, el grupo * ni las reglas de agentes que no están en la lista.
- Después volvemos a evaluar el fichero nuevo, ruta a ruta, con el mismo parser de la RFC 9309 que usa el comprobador de bots de IA.
- Todo pasa en tu navegador. Para leer el robots.txt de tu dominio, nuestro servidor lo descarga una vez (hasta 5 redirecciones, 8 segundos y 500 KiB).
Preguntas sobre robots.txt y bots de IA.
Lo que más nos preguntan antes de empezar. Si te falta algo, escríbenos.
Escríbenos¿Si bloqueo GPTBot desaparezco de ChatGPT?
Según la documentación de OpenAI, no. GPTBot recoge datos de entrenamiento; la búsqueda de ChatGPT usa OAI-SearchBot y ChatGPT-User abre páginas cuando alguien se lo pide. Bloquea GPTBot si no quieres estar en los datos de entrenamiento y deja permitidos los otros dos.
¿Qué bots tengo que dejar pasar para que la IA me cite?
Los de búsqueda y los que abren páginas a petición del usuario: OAI-SearchBot y ChatGPT-User (ChatGPT), PerplexityBot y Perplexity-User, Claude-SearchBot y Claude-User, Googlebot (Búsqueda de Google, AI Overviews y AI Mode), Bingbot (Bing y Copilot) y Applebot.
¿Google-Extended controla los AI Overviews?
No. Google-Extended controla el entrenamiento de Gemini y su uso en las apps de Gemini. Los AI Overviews y AI Mode son parte de la Búsqueda de Google y dependen de Googlebot y de controles de fragmentos como nosnippet.
¿El robots.txt frena de verdad a los bots de IA?
Es una petición, no un muro. OpenAI, Anthropic, Google, Perplexity y Apple dicen que sus rastreadores lo respetan, pero no todos los bots lo hacen. Y los cortafuegos o la protección contra bots (Cloudflare, Vercel) pueden bloquear a los que aquí permites.
¿Dónde subo el robots.txt nuevo?
Se tiene que servir en https://tudominio/robots.txt. En Webflow está en los ajustes del sitio, pestaña SEO. La mayoría de creadores de webs tienen un campo parecido en sus ajustes de SEO; en WordPress, un plugin de SEO o un fichero en la raíz.