llms.txt

llms.txt est un fichier markdown placé à la racine d'un site qui résume son contenu et sa structure spécifiquement pour les systèmes d'IA et leurs crawlers, faisant office de standard technique émergent le plus proche qui existe dans ce domaine. Il offre à un système d'IA une carte organisée du site au lieu de le forcer à déduire la structure d'un crawl complet.

Pourquoi c'est important

Adopter llms.txt tôt est un signal à faible coût qu'un site s'organise activement pour la récupération par les IA, même si l'adoption reste encore inégale parmi les crawlers IA eux-mêmes et n'a été confirmée comme facteur de classement par aucune grande plateforme. Cela vaut la peine de l'implémenter comme bonne pratique et couverture, mais cela ne doit jamais remplacer les données structurées et la qualité de contenu dont l'usage par les IA est, elles, confirmé.

Termes associés

• llms-full.txt

  llms-full.txt est une version étendue de llms.txt qui inclut le contenu intégral des pages d'un site, plutôt que de courts résumés, dans un seul fichier markdown consolidé destiné à être ingéré directement par les systèmes d'IA. Il troque la nature compacte et sélective de llms.txt contre l'exhaustivité, au prix d'un fichier bien plus volumineux.

• robots.txt (directives IA)

  robots.txt est le fichier standard de contrôle des crawlers, présent à la racine d'un site depuis longtemps, désormais étendu avec des règles spécifiques par user-agent pour des crawlers IA comme GPTBot, ClaudeBot et PerplexityBot. Un même fichier robots.txt peut autoriser le crawl classique des moteurs de recherche tout en bloquant un ou plusieurs crawlers IA, ou l'inverse.

• Balisage Schema / Données structurées

  Le balisage schema, ou données structurées, est un ensemble de métadonnées lisibles par machine intégrées à une page, le plus souvent en JSON-LD, qui indique explicitement aux crawlers ce qu'est réellement le contenu : un article, une organisation, un produit, un ensemble de questions-réponses, plutôt que de laisser cette classification à l'inférence.

• GPTBot

  GPTBot est le crawler d'OpenAI chargé de collecter le contenu web utilisé pour entraîner ses modèles, fonctionnant séparément des crawlers qu'OpenAI utilise pour alimenter les citations de ChatGPT Search. Un site peut bloquer spécifiquement GPTBot pour refuser l'usage de son contenu à des fins d'entraînement, sans affecter la capacité de ChatGPT Search à récupérer et citer ce même contenu.