model cascades

UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing

UCCI es un enrutador innovador que utiliza la incertidumbre calibrada para optimizar el coste de las cascadas de LLM, enviando consultas fáciles a modelos pequeños y difíciles a modelos grandes. Reduce el coste de inferencia en un 31% en cargas de trabajo de producción, manteniendo la precisión, mediante la calibración de la confianza del modelo.