Der Autor beschreibt die unerwartete Komplexität des effizienten Routings von LLM-Anfragen, was zum Bau eines KI-Gateways führte, das pro Anfrage entscheidet, welches Modell verwendet werden soll. Dieses System optimiert Kosten und Leistung, indem es einfache Prompts an günstigere Modelle leitet und Methoden wie die Embedding-Ähnlichkeit für Routing-Entscheidungen nutzt.
Dieser Inhalt beschreibt das Routing von LLM-Aufrufen in der Produktion über OpenRouter, um Modelle basierend auf Preissensibilität und Konversationsstil auszuwählen. Er behandelt den Umgang mit `finish_reason=content_filter`-Grenzfällen und Fallback-Mustern, um durchgehende Antworten zu gewährleisten.
UCCI ist ein innovativer Router, der kalibrierte Unsicherheit nutzt, um die Kosten von LLM-Kaskaden zu optimieren, indem er einfache Anfragen an kleinere Modelle und schwierige an größere Modelle sendet. Er reduziert die Inferenzkosten in Produktionsumgebungen um 31% bei gleichbleibender Genauigkeit, indem er die Modellkonfidenz kalibriert.