Langfuse es una plataforma de observabilidad de LLM gratuita y de código abierto que ayuda a los ingenieros a depurar y comprender sus aplicaciones de IA en producción, registrando llamadas de modelos y pasos de agentes. Se puede autoalojar de forma gratuita o utilizarse a través de un servicio en la nube gestionado.
El autor desarrolló Torrix, una plataforma de observabilidad LLM autoalojada que registra llamadas, calcula costos y detecta anomalías automáticamente, para resolver problemas como facturas sorpresa y fallos silenciosos de modelos. Se creó una demostración en vivo con 30 días de rastreos de LLM simulados en tres proyectos para facilitar la experimentación.
El estado actual de las herramientas de observabilidad de LLM es deficiente, centrándose únicamente en métricas de entrada como solicitudes y costos, sin medir la salida real o el retorno de la inversión. Esta deficiencia lleva a los equipos de productos de IA a tomar decisiones arquitectónicas costosas y a tener dificultades para identificar qué clientes o agentes están disparando el presupuesto.