Cloudflare bloque vos crawlers IA en silence : comment vérifier et corriger avant de perdre votre visibilité dans ChatGPT

Le 1er juillet 2025, Cloudflare a modifié son paramètre par défaut pour tous les nouveaux domaines : bloquer l'intégralité des crawlers IA. Cloudflare protège environ 20% de tous les sites internet dans le monde. Ça signifie qu'une part significative du web est passée du jour au lendemain de « les IA peuvent crawler par défaut » à « les IA ont besoin d'une autorisation explicite ». Si votre site a été ajouté à Cloudflare après cette date, ou si quelqu'un a activé ce paramètre sur votre domaine existant, vous êtes peut-être invisible dans ChatGPT, Perplexity et Claude en ce moment même. Et vos logs serveur ne vous le diront jamais.

Pourquoi c'est invisible dans vos outils habituels

C'est là que le problème est particulièrement traître. Quand Cloudflare bloque un crawler IA, il le fait au niveau de l'edge, avant même que la requête n'atteigne votre serveur. Votre serveur ne voit rien. Vos logs d'accès ne montrent rien. GA4 ne voit rien. La réponse 403 est envoyée silencieusement par Cloudflare, et les seules traces apparaissent dans le tableau de bord sécurité de Cloudflare lui-même, que la plupart des équipes marketing ne consultent jamais.

Résultat : vous publiez du contenu GEO-optimisé, vous travaillez votre structure, vos sources, votre schema markup, et les moteurs IA ne peuvent tout simplement pas lire vos pages. Le crawler reçoit une erreur 403 et passe à la source suivante. Votre concurrent, qui n'a pas Cloudflare ou qui a correctement configuré ses accès, se retrouve cité à votre place.

La distinction essentielle que presque tout le monde rate

Il existe deux types de crawlers IA fondamentalement différents et la confusion entre les deux est à l'origine de la plupart des erreurs de configuration. Les crawlers d'entraînement collectent vos contenus pour construire ou affiner les modèles de langage. Ils n'ont aucun impact sur ce que ChatGPT ou Perplexity répondent à vos prospects en temps réel. Les crawlers de récupération, eux, permettent aux moteurs IA d'aller chercher des sources en temps réel pour citer dans leurs réponses. Bloquer ces derniers, c'est se rendre invisible dans les résultats IA.

La confusion la plus courante concerne OpenAI. GPTBot est le crawler d'entraînement d'OpenAI : vous pouvez le bloquer sans aucun impact sur votre visibilité dans ChatGPT. OAI-SearchBot est le crawler de récupération utilisé pour les réponses ChatGPT Search : si vous le bloquez, votre site disparaît complètement des réponses ChatGPT. Ces deux bots appartiennent à OpenAI mais ont des fonctions opposées. Beaucoup d'équipes bloquent GPTBot en pensant « protéger leur contenu » et ne réalisent pas qu'elles ont aussi bloqué OAI-SearchBot, effaçant ainsi leur visibilité dans ChatGPT.

La liste complète des crawlers IA à autoriser en 2026

Pour conserver votre visibilité dans les citations IA tout en protégeant vos contenus contre l'entraînement non consenti, voici la liste des crawlers de récupération à explicitement autoriser. Pour ChatGPT Search : OAI-SearchBot et ChatGPT-User. Pour Perplexity : PerplexityBot. Pour Claude : ClaudeBot, Claude-SearchBot et Claude-User. Attention, les anciens identifiants Claude-Web et anthropic-ai sont dépréciés et ne bloquent plus rien en 2026. Si votre robots.txt utilise encore ces chaînes, vos règles ne s'appliquent pas aux crawlers Anthropic actuels.

Les crawlers d'entraînement que vous pouvez bloquer sans impact sur votre visibilité IA : GPTBot (entraînement OpenAI), CCBot (entraînement Common Crawl), Google-Extended (entraînement Gemini, indépendant de Google Search), et Applebot-Extended (entraînement Apple IA). Bloquer Google-Extended ne vous retire pas de Google Search ni de Google AI Overviews : ces dernières utilisent Googlebot standard, un système séparé.

Comment vérifier votre configuration Cloudflare en 5 minutes

Connectez-vous à votre tableau de bord Cloudflare. Allez dans Security, puis Bots, puis AI Crawl Control. Si le paramètre Block on all pages est activé, tous vos crawlers IA sont bloqués. Vous verrez également dans l'onglet Crawlers la liste des bots qui ont tenté d'accéder à votre site, le nombre de requêtes, et si elles ont été autorisées ou bloquées. C'est la source de vérité sur ce que les moteurs IA voient de votre site.

Une deuxième vérification indépendante : chargez directement votre robots.txt dans un navigateur en allant sur votredomaine.com/robots.txt et vérifiez les directives présentes pour les agents OAI-SearchBot, PerplexityBot et ClaudeBot. Si vous voyez Disallow: / pour ces agents, votre visibilité IA est coupée. Attention : Cloudflare peut injecter ses propres directives dans votre robots.txt à l'edge, ce qui signifie que le fichier servi aux crawlers peut être différent de celui sur votre serveur. Toujours vérifier la version servie publiquement.

La configuration robots.txt idéale pour 2026

L'objectif est d'autoriser les crawlers de récupération (qui génèrent vos citations IA) tout en bloquant les crawlers d'entraînement (qui exploitent votre contenu sans compensation). Voici la logique de configuration à appliquer dans votre robots.txt. Autorisez OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Claude-SearchBot, Claude-User, Googlebot et Bingbot. Bloquez GPTBot, CCBot, Google-Extended et Applebot-Extended si vous souhaitez protéger vos contenus contre l'entraînement non consenti.

Important : sur Cloudflare, la règle managed AI Block a priorité sur votre robots.txt. Même si votre robots.txt autorise OAI-SearchBot, Cloudflare peut le bloquer à l'edge avant que le crawler ne lise votre fichier. Les deux configurations doivent être alignées. Commencez toujours par désactiver ou configurer le paramètre AI Crawl Control dans le tableau de bord Cloudflare, puis ajustez votre robots.txt en cohérence.

Vérifier que les corrections fonctionnent vraiment

Après avoir modifié vos paramètres, attendez 24 à 48 heures. Les crawlers IA re-lisent généralement le robots.txt avant chaque session de crawl, mais les changements de configuration Cloudflare prennent effet immédiatement. Vous pouvez vérifier en consultant les logs Bot Analytics dans Cloudflare sur les jours suivant la correction : vous devriez voir les crawlers concernés passer de Blocked à Allowed.

Une vérification ultime et complète : interroger directement les LLMs sur vos prompts cibles et voir si votre domaine commence à être cité dans leurs réponses. C'est la seule méthode qui confirme que l'autorisation du crawler se traduit effectivement en citation. Les bots peuvent crawler votre site sans nécessairement le citer : la configuration est nécessaire mais non suffisante. Le contenu reste le juge de paix final.

Configuration Cloudflare correcte et toujours invisible dans les IA : que faire ?

Si vos crawlers sont autorisés et que vous n'êtes toujours pas cité dans ChatGPT ou Perplexity sur vos requêtes cibles, le problème n'est plus technique. C'est un problème de contenu et d'autorité de citation. La configuration Cloudflare est la condition nécessaire : sans elle, rien n'est possible. Mais ce n'est pas suffisant pour être cité. Il faut ensuite que votre contenu soit structuré de façon à être extractable, que votre autorité thématique soit suffisante, et que vous soyez présent sur les sources tierces que les LLMs consultent en priorité.