✂️Chunking (AI)
Chunking (AI)
チャンキングは、RAGパイプラインで独立してエンベディングおよび検索可能な、より小さく意味的に一貫したセグメントに文書を分割するプロセスです。
Chunking (AI)とは？
チャンキングは、大きな文書を個別にエンベディングし検索時に取得可能な小さなテキストセグメントに分割するプロセスです。あらゆるRAGパイプラインで重要な前処理ステップで、チャンクが検索の最小単位となり、その品質が応答品質を直接決定します。
Chunking (AI)の仕組み
戦略：固定サイズ、文ベース、段落ベース、セマンティック、階層的。コンテキスト充実化で文書レベルのメタデータを追加。オーバーラップで境界の情報を保持します。
Chunking (AI)が重要な理由
チャットボット精度の最も影響力がありながら最も見えにくいコンポーネントの一つです。
ChatloomにおけるChunking (AI)の活用
Chatloomのパイプラインは文書構造を尊重したインテリジェントチャンキングとコンテキスト充実化を使用します。
よくある質問
- 理想的なサイズは？
- コンテンツ依存。FAQ：200-400トークン。技術文書：500-1000トークン。
- 小さすぎると？
- コンテキストが失われます — 完全なアイデアではなく断片になります。
- 大きすぎると？
- 関連性が希薄になります — エンベディングが平均を表現します。