← heapsort-ai

Semantic Chunking

2 items

RESEARCHarXiv CS.CL·il y a 15j

Query-Adaptive Semantic Chunking for Retrieval-Augmented Generation: A Dynamic Strategy with Contextual Window Expansion

Cet article présente le Query-Adaptive Semantic Chunking (QASC), une stratégie dynamique pour les systèmes de Génération Augmentée par Récupération (RAG) qui intègre les requêtes de l'utilisateur dans la segmentation des documents. Le QASC utilise la notation de similarité cosinus, l'expansion de fenêtre contextuelle et l'agrégation de scores au niveau du chunk pour optimiser la récupération de contexte, palliant les limites des méthodes de chunking fixes.

27
DOCDEV.to AI·il y a 29j

Day 4 - Chunking continued - RAG

Ce contenu explore différentes méthodologies de "chunking" pour RAG, détaillant le "Semantic Chunking" qui ajoute des phrases à un bloc en fonction de leur pertinence. Il mentionne également le "Embedding Chunking" et la nécessité d'expérimenter pour trouver la meilleure approche.

26