Os assistentes de pesquisa como o ChatGPT, o Claude, o Perplexity e as respostas de IA da Google leem os websites de forma diferente de um crawler de pesquisa clássico. Estas ferramentas verificam as duas coisas que determinam se podem utilizar o seu site: um ficheiro llms.txt que lhes dá um índice limpo das suas melhores páginas e uma configuração de robots e firewall que permite efetivamente a entrada dos seus crawlers. Gere e valide o seu llms.txt e, em seguida, audite que crawlers de IA estão autorizados, bloqueados ou silenciosamente desafiados em qualquer domínio.