ClaudeBot

ClaudeBot est le crawler d'Anthropic chargé de collecter le contenu web utilisé pour entraîner ses modèles Claude, fonctionnant séparément de Claude-SearchBot, le crawler qui construit l'index sur lequel s'appuient réellement la recherche web et la citation de Claude. Comme pour les crawlers d'OpenAI, bloquer l'un ne bloque pas automatiquement l'autre.

Pourquoi c'est important

Un site qui bloque ClaudeBot pour refuser l'usage de son contenu à des fins d'entraînement doit vérifier séparément l'accès de Claude-SearchBot si l'objectif est aussi de rester visible dans la fonction de recherche de Claude, puisque les deux crawlers se configurent indépendamment dans robots.txt.

Termes associés

• Claude-SearchBot

  Claude-SearchBot est le crawler d'Anthropic dédié à l'indexation du contenu web pour la fonction de recherche et de citation de Claude, distinct de ClaudeBot, qui collecte les données d'entraînement. Il constitue le réservoir de pages récupérables et citables sur lequel Claude s'appuie lorsqu'il ancre une réponse dans des sources web en direct.

• Claude

  Claude est la famille de modèles d'Anthropic, qui a ajouté un mode de recherche ancré dans le web récupérant des pages en direct et les citant aux côtés d'une réponse générée, structurellement proche de ChatGPT Search. Anthropic fait tourner deux crawlers distincts : ClaudeBot collecte les données d'entraînement, tandis que Claude-SearchBot construit l'index séparé dont la fonction de recherche de Claude tire réellement ses citations.

• robots.txt (directives IA)

  robots.txt est le fichier standard de contrôle des crawlers, présent à la racine d'un site depuis longtemps, désormais étendu avec des règles spécifiques par user-agent pour des crawlers IA comme GPTBot, ClaudeBot et PerplexityBot. Un même fichier robots.txt peut autoriser le crawl classique des moteurs de recherche tout en bloquant un ou plusieurs crawlers IA, ou l'inverse.

• GPTBot

  GPTBot est le crawler d'OpenAI chargé de collecter le contenu web utilisé pour entraîner ses modèles, fonctionnant séparément des crawlers qu'OpenAI utilise pour alimenter les citations de ChatGPT Search. Un site peut bloquer spécifiquement GPTBot pour refuser l'usage de son contenu à des fins d'entraînement, sans affecter la capacité de ChatGPT Search à récupérer et citer ce même contenu.