My First RAG System Had No Evals. 40% of Answers Were Wrong.

L'auteur a constaté que les systèmes RAG en production manquent souvent d'évaluation adéquate, entraînant de faibles performances et 40% de réponses erronées. Il a découvert que la plupart des échecs des systèmes RAG proviennent de problèmes de récupération, et non de LLM, et souligne l'importance de mesurer le Recall@k pour y remédier.