Chunking (AI)
Le découpage est le processus de division de documents en segments plus petits et sémantiquement cohérents pour l'embedding et la récupération indépendants dans un pipeline RAG.
What Is Chunking (AI)?
Le découpage est le processus de division de grands documents en segments textuels plus petits et autonomes pouvant être individuellement embeddés et récupérés pendant la recherche. C'est une étape critique de prétraitement dans tout pipeline RAG. Le fragment est l'unité atomique de récupération : sa qualité détermine directement la qualité de la réponse. Les stratégies vont de la division par taille fixe à des méthodes sémantiques sophistiquées respectant la structure du document.
How Chunking (AI) Works
Stratégies : taille fixe, par phrases, par paragraphes, sémantique et hiérarchique. L'enrichissement contextuel ajoute des métadonnées de niveau document. Le chevauchement préserve l'information aux limites.
Why Chunking (AI) Matters
Un des composants les plus impactants et les moins visibles de la précision du chatbot. Les erreurs se propagent dans tout le pipeline.
How Chatloom Uses Chunking (AI)
Le pipeline de Chatloom utilise un découpage intelligent respectant la structure du document avec enrichissement contextuel.
Related Terms
Explore related concepts to deepen your understanding.
Frequently Asked Questions
- Quelle taille idéale ?
- Dépend du contenu. FAQ : 200-400 tokens. Documentation technique : 500-1000 tokens.
- Et si les fragments sont trop petits ?
- Perte de contexte — des fragments plutôt que des idées complètes.
- Et si trop grands ?
- Dilution de la pertinence — l'embedding représente une moyenne, pas le spécifique.