ClaudeBot

ClaudeBot est le crawler d'Anthropic chargé de collecter le contenu web utilisé pour entraîner ses modèles Claude, fonctionnant séparément de Claude-SearchBot, le crawler qui construit l'index sur lequel s'appuient réellement la recherche web et la citation de Claude. Comme pour les crawlers d'OpenAI, bloquer l'un ne bloque pas automatiquement l'autre.

Pourquoi c'est important

Un site qui bloque ClaudeBot pour refuser l'usage de son contenu à des fins d'entraînement doit vérifier séparément l'accès de Claude-SearchBot si l'objectif est aussi de rester visible dans la fonction de recherche de Claude, puisque les deux crawlers se configurent indépendamment dans robots.txt.

La page d'aide d'Anthropic liste trois agents : ClaudeBot collecte du contenu pour l'entraînement des modèles, Claude-User récupère une page quand quelqu'un pose une question à Claude, et Claude-SearchBot analyse le contenu pour améliorer la qualité des résultats de recherche. Anthropic indique que ses bots respectent le robots.txt, prennent en charge la directive Crawl-delay et ne cherchent pas à contourner les CAPTCHA. La page prévient aussi que bloquer Claude-User ou Claude-SearchBot peut réduire la visibilité d'un site dans les réponses de Claude aux recherches des utilisateurs.

Une règle robots.txt qui interdit ClaudeBot ne retire donc un site que de l'entraînement. Les entrées de logs qui se présentent comme ClaudeBot ne sont pas toujours authentiques non plus : fin août 2026, GreyNoise a repéré 824 adresses IP qui usurpaient des crawlers IA, dont ClaudeBot. Notre guide sur ce que chaque bot IA respecte dans le robots.txt détaille les règles de chaque grand crawler.

Termes associés

• Claude-SearchBot

  Claude-SearchBot est le crawler d'Anthropic dédié à l'indexation du contenu web pour la fonction de recherche et de citation de Claude, distinct de ClaudeBot, qui collecte les données d'entraînement. Il constitue le réservoir de pages récupérables et citables sur lequel Claude s'appuie lorsqu'il ancre une réponse dans des sources web en direct.

• Claude

  Claude est la famille de modèles d'Anthropic, qui a ajouté un mode de recherche ancré dans le web récupérant des pages en direct et les citant aux côtés d'une réponse générée, structurellement proche de ChatGPT Search. Anthropic fait tourner deux crawlers distincts : ClaudeBot collecte les données d'entraînement, tandis que Claude-SearchBot construit l'index séparé dont la fonction de recherche de Claude tire réellement ses citations.

• robots.txt (directives IA)

  robots.txt est le fichier standard de contrôle des crawlers, présent à la racine d'un site depuis longtemps, désormais étendu avec des règles spécifiques par user-agent pour des crawlers IA comme GPTBot, ClaudeBot et PerplexityBot. Un même fichier robots.txt peut autoriser le crawl classique des moteurs de recherche tout en bloquant un ou plusieurs crawlers IA, ou l'inverse.

• GPTBot

  GPTBot est le crawler d'OpenAI chargé de collecter le contenu web utilisé pour entraîner ses modèles, fonctionnant séparément des crawlers qu'OpenAI utilise pour alimenter les citations de ChatGPT Search. Un site peut bloquer spécifiquement GPTBot pour refuser l'usage de son contenu à des fins d'entraînement, sans affecter la capacité de ChatGPT Search à récupérer et citer ce même contenu.