Chunking (découpage en segments)

Le chunking est la façon dont les systèmes d'IA découpent un contenu en passages plus courts, généralement de 200 à 500 tokens, avant de l'indexer et de le récupérer, ce qui signifie qu'une page est rarement évaluée comme un tout continu mais comme un ensemble de segments indépendants qui se disputent séparément la récupération.

Pourquoi c'est important

Le chunking est la raison structurelle pour laquelle des sections autonomes comptent plus que la fluidité narrative globale d'une page : si un passage n'a pas de sens une fois extrait de son contexte environnant, il a moins de chances d'être bien récupéré ou cité, quelle que soit la qualité de la page dans son ensemble.

Termes associés

• Récupération de passages

  La récupération de passages est l'étape où un système d'IA sélectionne des segments de texte précis et pertinents, et non des pages entières, pour construire sa réponse, ce qui signifie qu'une page peut être récupérée pour un seul passage tandis que le reste n'entre jamais dans la considération du système d'IA pour cette requête.

• Bloc de réponse (réponse atomique)

  Un bloc de réponse, ou réponse atomique, est un passage autonome, généralement de 40 à 100 mots, qui répond entièrement à une question précise par lui-même, sans exiger d'un lecteur ou d'un système d'IA qu'il se réfère aux paragraphes environnants pour le comprendre.

• Extractibilité

  L'extractibilité est la facilité avec laquelle un fragment de contenu peut être extrait et réutilisé par un système d'IA sans avoir besoin du contexte environnant pour rester exact ou cohérent, fonctionnant comme une mesure pratique de si un passage aurait encore du sens s'il était la seule chose citée.

• Retrieval-Augmented Generation (RAG)

  Le Retrieval-Augmented Generation (RAG) est l'architecture derrière la majorité de la recherche IA : le système récupère un ensemble de documents ou passages pertinents au moment de la requête, puis génère sa réponse en s'appuyant sur ce contenu récupéré, plutôt que sur ce qu'il a appris uniquement pendant son entraînement.