model cascades

UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing

UCCI é um roteador inovador que usa incerteza calibrada para otimizar o custo de cascadas de LLMs, enviando consultas fáceis para modelos menores e difíceis para modelos maiores. Ele reduz o custo de inferência em 31% em cargas de trabalho de produção, mantendo a precisão, ao calibrar a confiança do modelo.