CCBot

CCBot est le robot d'exploration derrière Common Crawl, un vaste jeu de données public de pages web qui n'appartient à aucun laboratoire d'IA en particulier mais alimente l'entraînement de modèles pour de nombreuses entreprises différentes, ce qui en fait l'un des robots les plus déterminants malgré son absence de notoriété grand public.

Pourquoi c'est important

Le jeu de données de Common Crawl étant réutilisé par des dizaines de laboratoires d'IA, une seule décision de blocage de CCBot a une portée disproportionnée comparée au blocage du robot dédié d'une seule entreprise, affectant d'un coup un ensemble beaucoup plus large et moins visible de systèmes d'IA en aval.

Termes associés

• Bytespider

  Bytespider est le robot d'exploration de ByteDance, qui collecte des données d'entraînement à travers le web pour ses produits d'IA. Il est réputé pour ignorer fréquemment les règles de blocage du robots.txt qui devraient normalement l'arrêter, contrairement à la plupart des autres grands robots d'IA en activité.

• robots.txt (directives IA)

  robots.txt est le fichier standard de contrôle des crawlers, présent à la racine d'un site depuis longtemps, désormais étendu avec des règles spécifiques par user-agent pour des crawlers IA comme GPTBot, ClaudeBot et PerplexityBot. Un même fichier robots.txt peut autoriser le crawl classique des moteurs de recherche tout en bloquant un ou plusieurs crawlers IA, ou l'inverse.

• LLM (grand modèle de langage)

  Un LLM, ou grand modèle de langage (large language model), est un modèle d'IA entraîné sur d'immenses volumes de texte pour comprendre et générer du langage humain. C'est la technologie sous-jacente derrière ChatGPT (les modèles GPT d'OpenAI), Claude (Anthropic) et Gemini (Google), et ce sur quoi chaque moteur génératif est construit.