Embeddings (vecteurs sémantiques)
Les embeddings sont des représentations numériques du texte qui permettent aux systèmes d'IA de mesurer la similarité sémantique entre une requête et un ensemble de passages candidats, formant le mécanisme sous-jacent qui rend possible la recherche sémantique et la plupart des systèmes de génération augmentée par récupération.
Pourquoi c'est important
Comprendre les embeddings éclaire pourquoi faire correspondre exactement les mots-clés d'une requête compte moins pour la récupération par IA que pour la recherche classique : un passage peut être récupéré parce qu'il est sémantiquement proche du sens d'une requête même sans en partager le libellé exact, ce qui est la base mécanique de la recherche sémantique elle-même.
Termes associés
- Recherche sémantique
La recherche sémantique est une récupération fondée sur le sens et l'intention derrière une requête, plutôt que sur la correspondance exacte de mots-clés. Elle utilise des représentations vectorielles du texte pour trouver du contenu conceptuellement lié même quand le vocabulaire employé est complètement différent.
- Retrieval-Augmented Generation (RAG)
Le Retrieval-Augmented Generation (RAG) est l'architecture derrière la majorité de la recherche IA : le système récupère un ensemble de documents ou passages pertinents au moment de la requête, puis génère sa réponse en s'appuyant sur ce contenu récupéré, plutôt que sur ce qu'il a appris uniquement pendant son entraînement.
- Chunking (découpage en segments)
Le chunking est la façon dont les systèmes d'IA découpent un contenu en passages plus courts, généralement de 200 à 500 tokens, avant de l'indexer et de le récupérer, ce qui signifie qu'une page est rarement évaluée comme un tout continu mais comme un ensemble de segments indépendants qui se disputent séparément la récupération.