← heapsort-ai

Semantic Chunking

2 items

RESEARCHarXiv CS.CL·15d atrás

Query-Adaptive Semantic Chunking for Retrieval-Augmented Generation: A Dynamic Strategy with Contextual Window Expansion

Este artigo apresenta o Query-Adaptive Semantic Chunking (QASC), uma estratégia dinâmica para sistemas de Geração Aumentada por Recuperação (RAG) que integra consultas do usuário na segmentação de documentos. O QASC utiliza pontuação de similaridade de cosseno, expansão contextual de janelas e agregação de pontuação em nível de chunk para otimizar a recuperação de contexto, superando as limitações dos métodos de chunking fixos.

27
DOCDEV.to AI·29d atrás

Day 4 - Chunking continued - RAG

Este conteúdo aborda diferentes metodologias de "chunking" para RAG, explicando o "Semantic Chunking" que adiciona sentenças a um "chunk" com base na relevância. Também menciona o "Embedding Chunking" e a necessidade de experimentação para encontrar o melhor método.

26