Cost-Aware LLM Routing: Sending 30% of Traffic to a Cheaper Model Without Quality Loss

O artigo aborda a otimização de custos em LLMs através do roteamento de tráfego, direcionando solicitações mais simples para modelos mais baratos. Isso evita o uso de modelos caros para consultas fáceis, resultando em economia significativa sem perda de qualidade.