AI Research
Auditor de acceso de crawlers de IA
GPTBot, ClaudeBot, PerplexityBot, Google-Extended y otros: compruebe exactamente qué crawlers de IA permite o bloquea su robots.txt.
Cómo se utiliza
1
Ingresa a tu sitio web
Recuperamos su archivo robots.txt en vivo.
2
Ver cada rastreador de IA
GPTBot, ClaudeBot, PerplexityBot, Google-Extended y más: permitidos, bloqueados o sin regla específica.
3
Decidir a propósito
El bloqueo es una elección legítima; La cuestión es saber qué postura tienes realmente, no adivinar.
Qué comprobamos
- Obtiene el robots.txt en directo de su sitio web y lo contrasta con 11 crawlers de IA identificados: GPTBot y ChatGPT-User (OpenAI), ClaudeBot y anthropic-ai (Anthropic), PerplexityBot, Google-Extended (entrenamiento de funciones Gemini/IA, independiente de la indexación de búsqueda de Googlebot), CCBot (Common Crawl, que alimenta muchos modelos abiertos), Bytespider (ByteDance), Amazonbot, Applebot-Extended (Apple Intelligence) y meta-externalagent (Meta).
- Indica cada bot como Permitido, Bloqueado, o Sin regla específica (se aplica lo que permita el grupo comodín
User-agent: *). - Deliberadamente no le dice qué posición debe adoptar: bloquear crawlers de IA es una elección legítima para algunos sitios. El objetivo es saber qué posición tiene de verdad, en lugar de suponerla.
Herramientas relacionadas
- Comprobador de Robots.txt y Meta Robots : pruebe el mismo robots.txt con los crawlers de búsqueda habituales, no solo con los de IA
- Generador + Validador de llms.txt : el robots.txt controla el acceso; el llms.txt es la capa complementaria de descubrimiento por IA
- Comprobación de sitio web : un análisis más completo del resto del sitio, con puntuación de IA, mientras audita el acceso de los crawlers
Última actualización: 19 de agosto de 2026 · Creado por el equipo de PPC de CWA Europe.