L'auteur décrit la complexité inattendue du routage efficace des appels LLM, ce qui l'a conduit à créer une passerelle d'IA qui décide quel modèle utiliser par requête. Ce système vise à optimiser les coûts et les performances, en dirigeant les requêtes simples vers des modèles moins chers et en utilisant des méthodes comme la similarité d'embeddings pour les décisions de routage.
Ce contenu explique comment acheminer les appels LLM en production via OpenRouter, en sélectionnant les modèles en fonction de la sensibilité au prix et du style de conversation. Il détaille la gestion des cas limites `finish_reason=content_filter` et les schémas de repli pour des réponses continues.
UCCI est un routeur innovant qui utilise l'incertitude calibrée pour optimiser le coût des cascades de LLM, en envoyant les requêtes faciles à de petits modèles et les difficiles à de grands modèles. Il réduit le coût d'inférence de 31% sur les charges de travail en production tout en maintenant la précision, en calibrant la confiance du modèle.