RAG system

2 items

ARTICLEDEV.to AI·il y a 21j

Building an Evaluation Harness for Financial RAG: What I Learned About LLM-as-Judge Calibration

L'auteur a développé un système RAG pour les questions-réponses financières, en utilisant des documents de la SEC et le benchmark FinanceBench. Il a découvert un écart important entre les évaluations du LLM en tant que juge et les performances réelles, tirant des leçons sur le calibrage des LLM pour l'évaluation.

Financial AI Benchmarking GPT-4o-mini RAG system

ARTICLEDEV.to AI·il y a 18j

Gemma 4 가 갑자기 답을 못 했다 — 외부 협업이 24시간 만에 root cause 찾아낸 이야기

PROJECT JAMES, un système Graph-RAG basé sur Ollama utilisant Gemma 4, a rencontré un problème où le modèle cessait brusquement de répondre à des étapes spécifiques. Après avoir étudié plusieurs hypothèses et collaboré en externe, la cause principale a été identifiée comme une limite max_tokens tronquant la sortie du modèle.

Ollama Gemma 4 RAG system Debugging