Why routing LLM calls is harder than it looks (lessons from building ai-gateway)

El autor describe la complejidad inesperada de enrutar llamadas a LLM de forma eficiente, lo que llevó a la creación de una pasarela de IA que decide qué modelo usar por solicitud. Este sistema busca optimizar costes y rendimiento, dirigiendo las solicitudes sencillas a modelos más económicos y utilizando métodos como la similitud de embeddings para las decisiones de enrutamiento.