My First RAG System Had No Evals. 40% of Answers Were Wrong.

Der Autor beobachtete, dass RAG-Systemen in der Produktion oft eine angemessene Evaluierung fehlt, was zu schlechter Leistung und 40% falschen Antworten führt. Sie entdeckten, dass die meisten RAG-Fehler von Retrieval-Problemen und nicht von LLM-Problemen herrühren, und betonen die Messung von Recall@k, um dies zu beheben.