model cascades

UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing

UCCI ist ein innovativer Router, der kalibrierte Unsicherheit nutzt, um die Kosten von LLM-Kaskaden zu optimieren, indem er einfache Anfragen an kleinere Modelle und schwierige an größere Modelle sendet. Er reduziert die Inferenzkosten in Produktionsumgebungen um 31% bei gleichbleibender Genauigkeit, indem er die Modellkonfidenz kalibriert.