Why Your Vector Index Returns Five Copies of the Same Doc

Der Inhalt beschreibt einen häufigen Fehler in RAG-Systemen, bei dem der Vektorindex mehrere Kopien desselben Dokumenten-Chunks zurückgibt und das Kontextfenster des LLM mit Redundanz füllt. Dies verhindert, dass das LLM auf vielfältige Informationen zugreifen und nuancierte Antworten geben kann; die Lösung umfasst Hash-Deduplizierung vor dem Ranking und MMR.