Chunking (AI)
Fragmentação é o processo de dividir documentos em segmentos menores e semanticamente coerentes para embedding e recuperação independente em um pipeline RAG.
O que é Chunking (AI)?
Fragmentação é o processo de dividir documentos grandes em segmentos textuais menores que podem ser individualmente embedded e recuperados. É etapa crítica de pré-processamento em qualquer pipeline RAG. O fragmento é a unidade atômica de recuperação: sua qualidade determina diretamente a qualidade da resposta. Estratégias vão de divisão por tamanho fixo a métodos semânticos sofisticados que respeitam a estrutura do documento.
Como funciona Chunking (AI)
Estratégias: tamanho fixo, por sentenças, por parágrafos, semântica e hierárquica. Enriquecimento contextual adiciona metadados. Sobreposição preserva informação nas fronteiras.
Por que Chunking (AI) é importante
Um dos componentes mais impactantes e menos visíveis da precisão do chatbot. Erros propagam por todo o pipeline.
Como a Chatloom usa Chunking (AI)
O pipeline do Chatloom usa fragmentação inteligente respeitando a estrutura do documento com enriquecimento contextual.
Termos Relacionados
Explore conceitos relacionados para aprofundar seu entendimento.
Perguntas Frequentes
- Qual o tamanho ideal?
- Depende do conteúdo. FAQ: 200-400 tokens. Doc técnica: 500-1000 tokens.
- Se muito pequenos?
- Perdem contexto — fragmentos em vez de ideias completas.
- Se muito grandes?
- Diluem relevância — o embedding representa uma média.
Recursos Relacionados
Construa seu primeiro agente
em menos de uma hora.
Escolha um modelo, conecte seu conteúdo e implante em todos os canais. Seu plano gratuito está pronto quando você estiver.