Langfuse ist eine kostenlose, quelloffene LLM-Observability-Plattform, die Ingenieuren hilft, ihre KI-Anwendungen in der Produktion zu debuggen und zu verstehen, indem sie Modellaufrufe und Agentenschritte als strukturierte Traces aufzeichnet. Sie kann kostenlos selbst gehostet oder über einen verwalteten Cloud-Dienst genutzt werden.
Der Autor entwickelte Torrix, eine selbst gehostete LLM-Beobachtbarkeitsplattform, die Anrufe protokolliert, Kosten berechnet und Anomalien automatisch kennzeichnet, um Probleme wie unerwartete Rechnungen und fehlerhafte Modellausgaben zu lösen. Eine Live-Demo mit 30 Tagen simulierter LLM-Traces über drei Projekte hinweg wurde erstellt, um die Nutzung zu erleichtern.
Der aktuelle Stand der LLM-Observability-Tools ist mangelhaft, da sie sich ausschließlich auf Eingangsmetriken wie Anfragen und Kosten konzentrieren, ohne die tatsächliche Ausgabe oder den Return on Investment zu messen. Dieser Mangel führt dazu, dass KI-Produktteams teure architektonische Entscheidungen treffen und Schwierigkeiten haben, die Ursachen für Budgetspitzen zu identifizieren.