Google-Extended

Google-Extended n'est pas un crawler en soi, mais un jeton robots.txt que les propriétaires de sites utilisent pour exclure un contenu précis de l'usage par Gemini et les autres produits d'IA générative de Google, séparément des règles Googlebot classiques qui régissent l'indexation pour la recherche traditionnelle. Une page peut rester pleinement indexée dans Google Search tout en étant exclue des données d'entraînement de Gemini.

Pourquoi c'est important

Google-Extended et les règles Googlebot classiques étant indépendantes, un site peut délibérément rester visible dans les résultats Google Search classiques tout en excluant spécifiquement Gemini, ce qui compte pour toute marque qui pèse l'exposition à l'entraînement IA face à la visibilité en recherche IA comme deux décisions distinctes.

La liste des crawlers courants de Google définit Google-Extended comme un jeton produit autonome, sans user agent HTTP propre. Il détermine si le contenu exploré peut servir à entraîner les futurs modèles Gemini et à l'ancrage (grounding) dans les applications Gemini et dans Grounding with Google Search sur Vertex AI, et Google précise qu'il n'a aucun effet sur l'inclusion ni sur le classement dans Google Search. La page ne cite pas AI Overviews parmi les produits concernés.

Comme ce jeton n'a pas de user agent, toute requête qui se présente comme Google-Extended est forcément fausse : GreyNoise a enregistré 263 849 sessions de ce type en trois semaines en 2026. Notre guide pour vérifier les crawlers IA explique comment distinguer les vrais bots des imposteurs.

Termes associés

• Gemini

  Gemini est la famille de modèles d'IA de Google, qui alimente à la fois les AI Overviews et un produit de chat autonome doté de son propre comportement de citation, ainsi qu'un mode agent Deep Research distinct qui compile des rapports plus longs à sources multiples. Sa récupération est ancrée dans la recherche : elle relie une réponse générée à l'index de recherche propre de Google avant d'appliquer un filtre de citation supplémentaire.

• Récupération ancrée dans la recherche

  La récupération ancrée dans la recherche (search-grounded retrieval) est le mécanisme par lequel Gemini relie une réponse générée à l'index de recherche de Google avant d'appliquer un filtre de citation supplémentaire. Plutôt que de récupérer depuis un crawl web indépendant, Gemini hérite en pratique de ce que Google Search juge déjà pertinent et fiable pour une requête, puis y superpose ses propres critères.

• robots.txt (directives IA)

  robots.txt est le fichier standard de contrôle des crawlers, présent à la racine d'un site depuis longtemps, désormais étendu avec des règles spécifiques par user-agent pour des crawlers IA comme GPTBot, ClaudeBot et PerplexityBot. Un même fichier robots.txt peut autoriser le crawl classique des moteurs de recherche tout en bloquant un ou plusieurs crawlers IA, ou l'inverse.