Los asistentes de búsqueda como ChatGPT, Claude, Perplexity y las respuestas de IA de Google leen los sitios web de forma distinta a un crawler de búsqueda clásico. Estas herramientas comprueban las dos cosas que determinan si pueden utilizar su sitio: un archivo llms.txt que les ofrece un índice limpio de sus mejores páginas y una configuración de robots y firewall que permite realmente la entrada de sus crawlers. Genere y valide su llms.txt y, a continuación, audite qué crawlers de IA están autorizados, bloqueados o silenciosamente desafiados en cualquier dominio.