I Built an LLM Gateway That Learns Which Model to Use — Here's How the Routing Works

Provara ist ein LLM-Gateway, das Anfragen intelligent an verschiedene KI-Modelle (OpenAI, Anthropic, Google usw.) über einen OpenAI-kompatiblen Endpunkt weiterleitet. Es nutzt ein LLM als „Richter“ zur Bewertung von Antworten, wodurch der Router lernt und über die Zeit automatisch das beste Modell für eine gegebene Aufgabe auswählt, was eine manuelle Konfiguration überflüssig macht.