model cascades

UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing

UCCI est un routeur innovant qui utilise l'incertitude calibrée pour optimiser le coût des cascades de LLM, en envoyant les requêtes faciles à de petits modèles et les difficiles à de grands modèles. Il réduit le coût d'inférence de 31% sur les charges de travail en production tout en maintenant la précision, en calibrant la confiance du modèle.