Cost-Aware LLM Routing: Sending 30% of Traffic to a Cheaper Model Without Quality Loss

El artículo trata sobre la optimización de costos en LLMs mediante el enrutamiento de tráfico, enviando solicitudes más sencillas a modelos más económicos. Esto evita el uso de modelos caros para consultas fáciles, lo que resulta en un ahorro considerable sin pérdida de calidad.