Cost-Aware LLM Routing: Sending 30% of Traffic to a Cheaper Model Without Quality Loss

Cet article explore l'optimisation des coûts des LLM via le routage du trafic, en dirigeant les requêtes plus simples vers des modèles moins chers. Cela permet d'éviter de payer des modèles phares pour des requêtes faciles, générant des économies significatives sans perte de qualité.