← heapsort-ai

Semantic Chunking

2 items

RESEARCHarXiv CS.CL·vor 16T

Query-Adaptive Semantic Chunking for Retrieval-Augmented Generation: A Dynamic Strategy with Contextual Window Expansion

Dieser Artikel stellt Query-Adaptive Semantic Chunking (QASC) vor, eine dynamische Strategie für Retrieval-Augmented Generation (RAG)-Systeme, die Benutzeranfragen in die Dokumentsegmentierung integriert. QASC nutzt Kosinus-Ähnlichkeitsbewertung, kontextuelle Fenstererweiterung und Chunk-Level-Score-Aggregation, um die Kontextabfrage zu optimieren und die Einschränkungen fester Chunking-Methoden zu überwinden.

27
DOCDEV.to AI·vor 29T

Day 4 - Chunking continued - RAG

Dieser Inhalt behandelt verschiedene Chunking-Methoden für RAG, wobei das "Semantic Chunking" erklärt wird, das Sätze basierend auf einem Relevanzfaktor zu einem Chunk hinzufügt. Es erwähnt auch das "Embedding Chunking" und die Notwendigkeit von Versuch und Irrtum, um die beste Methode zu finden.

26