GPTBot

GPTBot est le crawler d'OpenAI chargé de collecter le contenu web utilisé pour entraîner ses modèles, fonctionnant séparément des crawlers qu'OpenAI utilise pour alimenter les citations de ChatGPT Search. Un site peut bloquer spécifiquement GPTBot pour refuser l'usage de son contenu à des fins d'entraînement, sans affecter la capacité de ChatGPT Search à récupérer et citer ce même contenu.

Pourquoi c'est important

GPTBot et OAI-SearchBot ayant des rôles entièrement différents, les équipes prennent souvent une décision de crawler IA qu'elles n'avaient pas prévue : bloquer GPTBot pour protéger le contenu d'un usage d'entraînement en supposant que cela bloque aussi les citations de ChatGPT Search, alors que les deux sont régis par des règles robots.txt entièrement séparées.

Termes associés

• OAI-SearchBot

  OAI-SearchBot est le crawler distinct d'OpenAI qui indexe le contenu web spécifiquement pour ChatGPT Search, construisant le réservoir de récupération dont cette fonctionnalité tire ses citations, indépendamment du crawler GPTBot utilisé pour la collecte de données d'entraînement des modèles. Bloquer OAI-SearchBot retire une page du réservoir de citation de ChatGPT Search sans affecter les opt-outs d'entraînement.

• ChatGPT-User

  ChatGPT-User est le user-agent qu'OpenAI applique lorsque ChatGPT récupère une page précise en direct, en temps réel, à la demande explicite d'un utilisateur au cours d'une conversation, distinct de l'indexation en arrière-plan effectuée par GPTBot ou OAI-SearchBot. Il correspond à une récupération ponctuelle plutôt qu'à une exploration systématique.

• robots.txt (directives IA)

  robots.txt est le fichier standard de contrôle des crawlers, présent à la racine d'un site depuis longtemps, désormais étendu avec des règles spécifiques par user-agent pour des crawlers IA comme GPTBot, ClaudeBot et PerplexityBot. Un même fichier robots.txt peut autoriser le crawl classique des moteurs de recherche tout en bloquant un ou plusieurs crawlers IA, ou l'inverse.

• ChatGPT Search

  ChatGPT Search est le mode de réponse ancré dans le web d'OpenAI, intégré à ChatGPT, qui récupère des pages web actuelles avant de générer une réponse et affiche un panneau de sources à côté de celle-ci. Lancé fin 2024, il utilise un crawler dédié, OAI-SearchBot, distinct de GPTBot qui alimente l'entraînement des modèles.