Why routing LLM calls is harder than it looks (lessons from building ai-gateway)

L'auteur décrit la complexité inattendue du routage efficace des appels LLM, ce qui l'a conduit à créer une passerelle d'IA qui décide quel modèle utiliser par requête. Ce système vise à optimiser les coûts et les performances, en dirigeant les requêtes simples vers des modèles moins chers et en utilisant des méthodes comme la similarité d'embeddings pour les décisions de routage.