I Built an LLM Gateway That Learns Which Model to Use — Here's How the Routing Works

A Provara é um gateway LLM que roteia inteligentemente requisições para diversos modelos de IA, incluindo OpenAI, Anthropic e Google, através de um endpoint compatível com OpenAI. O sistema usa um LLM-como-juiz para avaliar as respostas, permitindo que o roteador aprenda e selecione automaticamente o melhor modelo para cada tarefa, sem necessidade de configuração manual.