Chunking (AI)
Le découpage est le processus de division de documents en segments plus petits et sémantiquement cohérents pour l'embedding et la récupération indépendants dans un pipeline RAG.
Qu’est-ce que Chunking (AI) ?
Le découpage est le processus de division de grands documents en segments textuels plus petits et autonomes pouvant être individuellement embeddés et récupérés pendant la recherche. C'est une étape critique de prétraitement dans tout pipeline RAG. Le fragment est l'unité atomique de récupération : sa qualité détermine directement la qualité de la réponse. Les stratégies vont de la division par taille fixe à des méthodes sémantiques sophistiquées respectant la structure du document.
Comment fonctionne Chunking (AI) ?
Stratégies : taille fixe, par phrases, par paragraphes, sémantique et hiérarchique. L'enrichissement contextuel ajoute des métadonnées de niveau document. Le chevauchement préserve l'information aux limites.
Pourquoi Chunking (AI) est important
Un des composants les plus impactants et les moins visibles de la précision du chatbot. Les erreurs se propagent dans tout le pipeline.
Comment Chatloom utilise Chunking (AI)
Le pipeline de Chatloom utilise un découpage intelligent respectant la structure du document avec enrichissement contextuel.
Termes associés
Explorez les concepts associés pour approfondir votre compréhension.
Questions fréquentes
- Quelle taille idéale ?
- Dépend du contenu. FAQ : 200-400 tokens. Documentation technique : 500-1000 tokens.
- Et si les fragments sont trop petits ?
- Perte de contexte — des fragments plutôt que des idées complètes.
- Et si trop grands ?
- Dilution de la pertinence — l'embedding représente une moyenne, pas le spécifique.