AI Bot Checker gratuit Quels crawlers d'IA peuvent lire votre site ?
Entrez votre site. On lit votre robots.txt comme le font les crawlers de ChatGPT, Gemini, Perplexity et une quarantaine d'autres, puis on vous montre qui peut entrer, qui reste dehors, et la ligne exacte qui en décide.
Pourquoi vérifier quels crawlers d'IA votre robots.txt laisse entrer
Avant qu'un assistant comme ChatGPT, Gemini ou Perplexity puisse citer vos pages, ses crawlers doivent avoir le droit de les lire. C'est votre robots.txt qui en décide, crawler par crawler, et une seule ligne écrite il y a des années pour autre chose peut tenir un crawler de recherche IA à l'écart sans que personne ne s'en rende compte.
Cet outil lit votre fichier comme la norme (RFC 9309) demande aux crawlers de le faire : il cherche le groupe qui nomme chaque crawler ou se replie sur User-agent: *, retient la règle la plus longue qui correspond, et donne raison à Allow en cas d'égalité. Pour chacun des 40 crawlers d'IA et plus que nous suivons, vous voyez le verdict, son rôle et la ligne exacte qui décide. Quand quelque chose est bloqué, vous obtenez des lignes à ajouter à la fin de votre fichier, sans toucher au reste.
Questions fréquentes
Bloquer GPTBot retire-t-il mon site de ChatGPT ?
Pas à lui seul. GPTBot collecte des pages pour entraîner les modèles d'OpenAI. La recherche de ChatGPT passe par OAI-SearchBot, et ChatGPT-User ouvre une page en direct quand quelqu'un pose une question dessus. Vous pouvez bloquer l'entraînement et garder la recherche : c'est ce qu'écrit pour vous l'option « Bloquer l'entraînement, garder la recherche ».
Pourquoi Google-Extended n'apparaît-il jamais dans mes logs ?
Parce que c'est seulement un nom pour robots.txt, jamais un visiteur. Il indique à Google si Gemini peut utiliser vos pages pour s'entraîner et appuyer ses réponses. Les pages, elles, sont toujours récupérées par Googlebot. Bloquer Google-Extended ne touche pas à Google Search.
Quelle règle gagne quand plusieurs lignes correspondent ?
Celle dont le chemin est le plus long. Si un Allow et un Disallow ont la même longueur, Allow gagne. Un crawler nommé dans son propre groupe ignore complètement le groupe User-agent: *. C'est ce que demande la norme robots.txt (RFC 9309), et c'est ce que suit cet outil.
Mon robots.txt autorise tout. Pourquoi les crawlers d'IA ne lisent-ils pas mon site ?
robots.txt n'est qu'une demande. Un pare-feu, une règle de CDN ou une protection anti-bots peuvent quand même refouler les crawlers. Un robots.txt qui répond par une erreur serveur pousse aussi les crawlers à considérer tout le site comme interdit.
C'est gratuit ? Vous gardez quelque chose ?
Oui, c'est gratuit et sans inscription. On lit votre robots.txt public au moment où vous le demandez, on vous montre le résultat et on ne garde rien.