RAG system

2 items

ARTICLEDEV.to AI·vor 21T

Building an Evaluation Harness for Financial RAG: What I Learned About LLM-as-Judge Calibration

Der Autor entwickelte ein RAG-System für Finanz-Q&A unter Verwendung von SEC-Dokumenten und dem FinanceBench-Benchmark. Er entdeckte eine erhebliche Diskrepanz zwischen LLM-als-Richter-Bewertungen und der tatsächlichen Leistung, was zu Erkenntnissen über die Kalibrierung von LLMs für die Bewertung führte.

Financial AI Benchmarking GPT-4o-mini RAG system

ARTICLEDEV.to AI·vor 18T

Gemma 4 가 갑자기 답을 못 했다 — 외부 협업이 24시간 만에 root cause 찾아낸 이야기

PROJECT JAMES, ein auf Ollama basierendes Graph-RAG-System mit Gemma 4, stieß auf ein Problem, bei dem das Modell in bestimmten Phasen abrupt nicht mehr antwortete. Nach Untersuchung mehrerer Hypothesen und externer Zusammenarbeit wurde die Ursache als eine max_tokens-Begrenzung identifiziert, die die Ausgabe des Modells kürzte.

Ollama Gemma 4 RAG system Debugging