Bytespider

Bytespider est le robot d'exploration de ByteDance, qui collecte des données d'entraînement à travers le web pour ses produits d'IA. Il est réputé pour ignorer fréquemment les règles de blocage du robots.txt qui devraient normalement l'arrêter, contrairement à la plupart des autres grands robots d'IA en activité.

Pourquoi c'est important

Bytespider ne respectant pas fiablement le robots.txt, le bloquer via ce fichier offre une protection plus faible que pour la plupart des autres robots d'IA, et un site réellement préoccupé par l'usage de son contenu par ByteDance peut avoir besoin d'un blocage au niveau serveur plutôt que de s'appuyer sur la seule directive du crawler.

Termes associés

• robots.txt (directives IA)

  robots.txt est le fichier standard de contrôle des crawlers, présent à la racine d'un site depuis longtemps, désormais étendu avec des règles spécifiques par user-agent pour des crawlers IA comme GPTBot, ClaudeBot et PerplexityBot. Un même fichier robots.txt peut autoriser le crawl classique des moteurs de recherche tout en bloquant un ou plusieurs crawlers IA, ou l'inverse.

• CCBot

  CCBot est le robot d'exploration derrière Common Crawl, un vaste jeu de données public de pages web qui n'appartient à aucun laboratoire d'IA en particulier mais alimente l'entraînement de modèles pour de nombreuses entreprises différentes, ce qui en fait l'un des robots les plus déterminants malgré son absence de notoriété grand public.