Semantic Chunking — artículos, noticias e investigación de IA

RESEARCHarXiv CS.CL·hace 15d

Query-Adaptive Semantic Chunking for Retrieval-Augmented Generation: A Dynamic Strategy with Contextual Window Expansion

Este artículo presenta el Query-Adaptive Semantic Chunking (QASC), una estrategia dinámica para sistemas de Generación Aumentada por Recuperación (RAG) que integra consultas de usuario en la segmentación de documentos. QASC utiliza la puntuación de similitud de coseno, la expansión de ventanas contextuales y la agregación de puntuaciones a nivel de fragmento para optimizar la recuperación de contexto, superando las limitaciones de los métodos de fragmentación fija.

RAG Natural Language Processing Information Retrieval Semantic Chunking

Day 4 - Chunking continued - RAG

Este contenido aborda diferentes metodologías de segmentación ("chunking") para RAG, explicando la segmentación semántica ("Semantic Chunking") que añade frases a un fragmento basándose en un factor de relevancia. También menciona la segmentación por "embeddings" y la necesidad de ensayo y error para determinar el mejor método.