Fenêtre de contexte

Une fenêtre de contexte est la quantité de texte qu'un modèle d'IA peut traiter en une seule fois, dans une conversation ou une requête donnée, ce qui limite directement combien d'une page, ou combien de pages, le modèle peut réellement voir et exploiter pour générer une réponse ancrée et citée.

Pourquoi c'est important

Une fenêtre de contexte plus large change l'économie de la récupération : un modèle à petite fenêtre de contexte s'appuie davantage sur le chunking et la récupération de passages pour sélectionner des fragments pertinents, tandis qu'un modèle à fenêtre bien plus large peut ingérer des pages plus complètes, ce qui redonne un peu de poids au contenu long, structuré et exhaustif.

Termes associés

• Chunking (découpage en segments)

  Le chunking est la façon dont les systèmes d'IA découpent un contenu en passages plus courts, généralement de 200 à 500 tokens, avant de l'indexer et de le récupérer, ce qui signifie qu'une page est rarement évaluée comme un tout continu mais comme un ensemble de segments indépendants qui se disputent séparément la récupération.

• Récupération de passages

  La récupération de passages est l'étape où un système d'IA sélectionne des segments de texte précis et pertinents, et non des pages entières, pour construire sa réponse, ce qui signifie qu'une page peut être récupérée pour un seul passage tandis que le reste n'entre jamais dans la considération du système d'IA pour cette requête.

• LLM (grand modèle de langage)

  Un LLM, ou grand modèle de langage (large language model), est un modèle d'IA entraîné sur d'immenses volumes de texte pour comprendre et générer du langage humain. C'est la technologie sous-jacente derrière ChatGPT (les modèles GPT d'OpenAI), Claude (Anthropic) et Gemini (Google), et ce sur quoi chaque moteur génératif est construit.