Applebot-Extended

Applebot-Extended est le jeton d'exclusion d'Apple, utilisé dans robots.txt, qui permet à un site d'exclure son contenu de l'entraînement d'Apple Intelligence et des autres fonctionnalités d'IA générative d'Apple, indépendamment des règles Applebot classiques qui régissent l'indexation pour la recherche et Siri.

Pourquoi c'est important

À mesure qu'Apple Intelligence prend une place croissante dans Siri et la recherche sur l'appareil, Applebot-Extended est une règle à définir délibérément plutôt qu'à laisser non configurée, puisqu'une directive non configurée autorise par défaut l'usage pour l'entraînement plutôt que d'en exclure le site.

Termes associés

• Google-Extended

  Google-Extended n'est pas un crawler en soi, mais un jeton robots.txt que les propriétaires de sites utilisent pour exclure un contenu précis de l'usage par Gemini et les autres produits d'IA générative de Google, séparément des règles Googlebot classiques qui régissent l'indexation pour la recherche traditionnelle. Une page peut rester pleinement indexée dans Google Search tout en étant exclue des données d'entraînement de Gemini.

• robots.txt (directives IA)

  robots.txt est le fichier standard de contrôle des crawlers, présent à la racine d'un site depuis longtemps, désormais étendu avec des règles spécifiques par user-agent pour des crawlers IA comme GPTBot, ClaudeBot et PerplexityBot. Un même fichier robots.txt peut autoriser le crawl classique des moteurs de recherche tout en bloquant un ou plusieurs crawlers IA, ou l'inverse.