Pesquisa com IA
Auditor de Acesso de Crawlers de IA
GPTBot, ClaudeBot, PerplexityBot, Google-Extended e outros — veja exatamente que crawlers de IA o seu robots.txt permite ou bloqueia.
Como utilizar
1
Introduza o seu website
Vamos buscar o seu robots.txt em direto.
2
Veja cada crawler de AI
GPTBot, ClaudeBot, PerplexityBot, Google-Extended e muitos mais — permitido, bloqueado ou sem regra específica.
3
Decida com intenção
Bloquear é uma escolha legítima; o importante é saber qual é de facto a sua posição, não adivinhar.
O que verificamos
- Obtém o robots.txt em direto do seu site e verifica-o em relação a 11 crawlers de IA identificados: GPTBot e ChatGPT-User (OpenAI), ClaudeBot e anthropic-ai (Anthropic), PerplexityBot, Google-Extended (treino de funcionalidades Gemini/IA — separado da indexação de pesquisa do Googlebot), CCBot (Common Crawl, alimenta muitos modelos abertos), Bytespider (ByteDance), Amazonbot, Applebot-Extended (Apple Intelligence) e meta-externalagent (Meta).
- Indica cada bot como Permitido, Bloqueado, ou Sem regra específica (aplica-se o que o grupo wildcard
User-agent: *permitir). - Deliberadamente não lhe diz que posição deve tomar — bloquear crawlers de IA é uma escolha legítima para alguns sites. O objetivo é saber que posição tem de facto, em vez de assumir.
Ferramentas relacionadas
- Testador de Robots.txt e Meta Robots — Teste o mesmo robots.txt em relação a crawlers de pesquisa comuns, não apenas aos de IA
- Gerador + Validador de llms.txt — o robots.txt controla o acesso; o llms.txt é a camada complementar de descoberta por IA
- Verificação de Website — Uma análise mais abrangente do resto do site, com pontuação de IA, enquanto audita o acesso dos crawlers
Última atualização: 19 de agosto de 2026 · Criado pela equipa de PPC da CWA Europe.