Why routing LLM calls is harder than it looks (lessons from building ai-gateway)

O autor descreve a complexidade inesperada de rotear chamadas de LLM de forma eficiente, levando à criação de um gateway de IA que decide qual modelo usar por requisição. O sistema visa otimizar custos e desempenho, direcionando prompts simples para modelos mais baratos e utilizando métodos como similaridade de embeddings para as decisões de roteamento.