Why routing LLM calls is harder than it looks (lessons from building ai-gateway)

Der Autor beschreibt die unerwartete Komplexität des effizienten Routings von LLM-Anfragen, was zum Bau eines KI-Gateways führte, das pro Anfrage entscheidet, welches Modell verwendet werden soll. Dieses System optimiert Kosten und Leistung, indem es einfache Prompts an günstigere Modelle leitet und Methoden wie die Embedding-Ähnlichkeit für Routing-Entscheidungen nutzt.