Investigación con IA
Auditor de acceso de los crawlers de IA
GPTBot, ClaudeBot, PerplexityBot, Google-Extended y muchos otros: descubra exactamente qué crawlers de IA permite o bloquea su robots.txt.
Cómo se utiliza
1
Ingresa a tu sitio web
Recuperamos su archivo robots.txt en vivo.
2
Ver cada rastreador de IA
GPTBot, ClaudeBot, PerplexityBot, Google-Extended y más: permitidos, bloqueados o sin regla específica.
3
Decidir a propósito
El bloqueo es una elección legítima; La cuestión es saber qué postura tienes realmente, no adivinar.
Qué comprobamos
- Obtiene el robots.txt en línea de su sitio y lo contrasta con 11 crawlers de IA identificados: GPTBot y ChatGPT-User (OpenAI), ClaudeBot y anthropic-ai (Anthropic), PerplexityBot, Google-Extended (entrenamiento de las funciones Gemini/IA, distinto de la indexación de búsqueda de Googlebot), CCBot (Common Crawl, que alimenta numerosos modelos abiertos), Bytespider (ByteDance), Amazonbot, Applebot-Extended (Apple Intelligence) y meta-externalagent (Meta).
- Indica para cada bot: Permitido, Bloqueado, o Ninguna regla específica (se aplica entonces lo que permita el grupo genérico
User-agent: *). - Deliberadamente no le dice qué posición adoptar: bloquear los crawlers de IA es una opción legítima para algunos sitios. Lo esencial es saber cuál es realmente su posición, en lugar de suponerla.
Herramientas asociadas
- Comprobador de Robots.txt y Meta Robots : compruebe el mismo robots.txt frente a los crawlers de búsqueda habituales, no solo frente a los crawlers de IA
- Generador + validador de llms.txt : robots.txt controla el acceso; llms.txt es la capa complementaria de descubrimiento por parte de las IA
- Website Check : un análisis más amplio del resto del sitio, puntuado por IA, mientras audita el acceso de los crawlers
Última actualización: 19 de agosto de 2026 · Realizado por el equipo de PPC de CWA Europe.