robots.txt (directives IA)

robots.txt est le fichier standard de contrôle des crawlers, présent à la racine d'un site depuis longtemps, désormais étendu avec des règles spécifiques par user-agent pour des crawlers IA comme GPTBot, ClaudeBot et PerplexityBot. Un même fichier robots.txt peut autoriser le crawl classique des moteurs de recherche tout en bloquant un ou plusieurs crawlers IA, ou l'inverse.

Pourquoi c'est important

Parce que chaque laboratoire d'IA fait tourner plusieurs crawlers à usages distincts, un robots.txt pensé pour un seul crawler peut bloquer sans le vouloir un bot pertinent pour les citations tout en laissant passer un bot dédié uniquement à l'entraînement, ou l'inverse. Auditer robots.txt par rapport à la liste complète et à jour des user-agents IA est un prérequis pour toute stratégie GEO.

Termes associés

• GPTBot

  GPTBot est le crawler d'OpenAI chargé de collecter le contenu web utilisé pour entraîner ses modèles, fonctionnant séparément des crawlers qu'OpenAI utilise pour alimenter les citations de ChatGPT Search. Un site peut bloquer spécifiquement GPTBot pour refuser l'usage de son contenu à des fins d'entraînement, sans affecter la capacité de ChatGPT Search à récupérer et citer ce même contenu.

• OAI-SearchBot

  OAI-SearchBot est le crawler distinct d'OpenAI qui indexe le contenu web spécifiquement pour ChatGPT Search, construisant le réservoir de récupération dont cette fonctionnalité tire ses citations, indépendamment du crawler GPTBot utilisé pour la collecte de données d'entraînement des modèles. Bloquer OAI-SearchBot retire une page du réservoir de citation de ChatGPT Search sans affecter les opt-outs d'entraînement.

• ClaudeBot

  ClaudeBot est le crawler d'Anthropic chargé de collecter le contenu web utilisé pour entraîner ses modèles Claude, fonctionnant séparément de Claude-SearchBot, le crawler qui construit l'index sur lequel s'appuient réellement la recherche web et la citation de Claude. Comme pour les crawlers d'OpenAI, bloquer l'un ne bloque pas automatiquement l'autre.

• PerplexityBot

  PerplexityBot est le crawler de Perplexity, chargé d'indexer les pages dans le réservoir de sources sur lequel son moteur de réponse s'appuie pour récupérer et citer, fonctionnant comme l'équivalent crawler de l'approche de récupération en temps réel et citation-first de Perplexity. Contrairement à certains concurrents, Perplexity fait tourner un seul crawler principal plutôt que de séparer les fonctions d'entraînement et de citation.

• llms.txt

  llms.txt est un fichier markdown placé à la racine d'un site qui résume son contenu et sa structure spécifiquement pour les systèmes d'IA et leurs crawlers, faisant office de standard technique émergent le plus proche qui existe dans ce domaine. Il offre à un système d'IA une carte organisée du site au lieu de le forcer à déduire la structure d'un crawl complet.