Langfuse est une plateforme d'observabilité LLM gratuite et open-source, conçue pour aider à déboguer les applications d'IA en production en enregistrant les appels de modèle et les étapes d'agent. Elle peut être auto-hébergée gratuitement ou utilisée via un service cloud géré.
L'auteur a développé Torrix, une plateforme d'observabilité LLM auto-hébergée qui enregistre les appels, calcule les coûts et signale automatiquement les anomalies, afin de résoudre des problèmes comme les factures inattendues et les modèles retournant des données incorrectes. Une démo en direct avec 30 jours de traces LLM simulées sur trois projets a été créée pour faciliter l'expérimentation.
L'état actuel des outils d'observabilité des LLM est lacunaire, ne mesurant que les métriques d'entrée comme les requêtes et les coûts, sans évaluer la sortie réelle ou le retour sur investissement. Cette lacune conduit les équipes produits IA à prendre des décisions architecturales coûteuses et à ne pas savoir quels clients ou agents épuisent le budget.