Robots.txt para crawlers de IA: guía práctica
robots.txt permite declarar qué rutas pueden rastrear distintos bots. En la era de la búsqueda generativa, conviene distinguir entre crawlers de búsqueda, crawlers de usuario y crawlers de entrenamiento.
Bloquear "todos los bots de IA" puede proteger contenido, pero también puede impedir aparecer en respuestas con fuentes. La clave está en ser selectivo.
Crawlers importantes de IA
| Crawler | Servicio | Uso general | ¿Bloquear o permitir? |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Búsqueda en ChatGPT | Permitir si quieres aparecer citado |
| ChatGPT-User | OpenAI | Acceso iniciado por usuario | Permitir para que usuarios puedan consultar tu contenido |
| GPTBot | OpenAI | Mejora/entrenamiento de modelos | Depende de tu política de datos |
| ClaudeBot | Anthropic | Rastreo de Anthropic | Permitir si quieres visibilidad en Claude |
| PerplexityBot | Perplexity | Búsqueda y respuestas con fuentes | Permitir si quieres aparecer en Perplexity |
| Google-Extended | Control de uso para modelos Gemini | Depende de tu política (no afecta Google Search) | |
| Amazonbot | Amazon | Rastreo para Alexa y otros servicios | Decisión por caso |
| Bytespider | ByteDance | Rastreo asociado a servicios de ByteDance | Decisión por caso |
Revisa siempre la documentación oficial antes de decidir. Los nombres y políticas de los crawlers pueden cambiar.
Configuración común
Escenario 1: Visibilidad en ChatGPT, sin entrenamiento
Si quieres visibilidad en ChatGPT Search pero no quieres que tu contenido se use para entrenar modelos:
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: GPTBot
Disallow: /Escenario 2: Visibilidad máxima en IA
Si quieres aparecer en todos los buscadores de IA y no te preocupa el entrenamiento:
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Allow: /Escenario 3: Bloquear entrenamiento, permitir búsqueda selectiva
Si quieres aparecer en ChatGPT y Perplexity pero bloquear entrenamiento de OpenAI y Google:
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /Escenario 4: Directorio público con contenido premium
Si tienes contenido público y contenido premium que no quieres exponer:
User-agent: OAI-SearchBot
Allow: /
Disallow: /premium/
Disallow: /privado/
User-agent: *
Allow: /
Disallow: /premium/
Disallow: /privado/
Disallow: /admin/Content-Signal: una señal complementaria
Algunos sitios empiezan a declarar preferencias de uso con Content-Signal:
Content-Signal: search=yes,ai-input=yes,ai-train=noEsto no reemplaza las reglas User-agent, pero ayuda a expresar intención de uso. Conviene tratarlo como una señal complementaria, no como un control de seguridad. Los crawlers pueden o no respetarlo.
Errores comunes
Error 1: Reglas contradictorias. Si tienes Allow: / para un bot específico pero Disallow: / en un wildcard, el bot específico puede quedar bloqueado según cómo se interprete la precedencia.
Error 2: Disallow: / heredado por wildcard. Un User-agent: * con Disallow: / bloquea todos los bots que no tengan una regla específica. Verifica que los bots de IA que quieres permitir tengan su propia regla.
Error 3: Plugins que agregan reglas sin revisar. Algunos plugins de WordPress o plataformas SEO pueden agregar reglas de robots.txt automáticamente. Revisa el archivo servido en producción.
Error 4: Cloudflare o WAF bloqueando bots. Aunque tu robots.txt permita un crawler, tu CDN o firewall puede bloquearlo a nivel de red. Revisa las reglas de bot management.
Error 5: Olvidar sitemap. Incluye la línea Sitemap: https://example.com/sitemap.xml al final de tu robots.txt.
Error 6: Bloquear /llms.txt. Si tienes un archivo llms.txt, asegúrate de que no esté bloqueado.
Error 7: Permitir rutas privadas. No permitas rutas de admin, APIs internas o contenido privado en robots.txt.
Cómo validar tu robots.txt
Siempre prueba el archivo servido en producción, no solo el código local:
- Visita
https://tu-sitio.com/robots.txten el navegador. - Verifica que las reglas son las esperadas.
- Usa el tester de robots.txt de Google Search Console.
- Revisa logs para confirmar que los bots de IA están rastreando.
- Verifica que Cloudflare o tu CDN no bloquean los user agents permitidos.
Robots.txt y llms.txt: cómo se complementan
| Archivo | Función | Para quién |
|---|---|---|
robots.txt | Controla quién puede rastrear y qué rutas | Crawlers y bots |
llms.txt | Orienta qué contenido es importante y cómo interpretarlo | Modelos de lenguaje y agentes |
sitemap.xml | Lista todas las URLs del sitio | Buscadores tradicionales |
Los tres archivos trabajan juntos: robots.txt abre la puerta, sitemap.xml lista las páginas, llms.txt explica qué es importante.
Preguntas frecuentes
¿Si bloqueo GPTBot, desaparezco de ChatGPT?
No. GPTBot es para entrenamiento. OAI-SearchBot es para búsqueda. Puedes bloquear el primero y permitir el segundo sin afectar tu visibilidad en ChatGPT Search.
¿Google-Extended afecta mi SEO en Google?
No. Google-Extended controla el uso de tu contenido para modelos de IA de Google (Gemini), no para Google Search. Tu SEO orgánico no se ve afectado.
¿Debo permitir todos los crawlers de IA?
Depende de tu estrategia. Si quieres máxima visibilidad, permite los de búsqueda. Si te preocupa el entrenamiento, bloquea los de entrenamiento. La decisión es editorial, no técnica.
¿Los crawlers de IA respetan robots.txt?
La mayoría sí. OpenAI, Google, Anthropic y Perplexity documentan sus crawlers y respetan robots.txt. Sin embargo, algunos crawlers menos conocidos pueden no respetarlo. Para esos, necesitas bloqueo a nivel de firewall.
Fuentes y recursos recomendados
- OpenAI Crawlers — documentación oficial de crawlers de OpenAI.
- Google-Extended — documentación de Google.
- PerplexityBot — información de Perplexity sobre sus bots.
- robots.txt specification — especificación del protocolo (RFC 9309).
Conclusión
La estrategia de robots.txt debe distinguir visibilidad, recuperación y entrenamiento. Permitir el crawler correcto puede abrir oportunidades de GEO; permitir todo sin criterio puede exponer más de lo necesario.
La configuración ideal no es "permitir todo" ni "bloquear todo". Es ser selectivo: permitir búsqueda, permitir acceso de usuario, y decidir conscientemente sobre entrenamiento. Revisa tu robots.txt hoy y asegúrate de que refleja tu estrategia editorial, no solo reglas heredadas.
