Langfuse é uma plataforma de observabilidade de LLM gratuita e de código aberto, projetada para ajudar no depuramento de aplicações de IA em produção, registrando chamadas de modelo e etapas de agente. A plataforma pode ser auto-hospedada gratuitamente ou utilizada através de um serviço de nuvem gerenciado.
O autor desenvolveu Torrix, uma plataforma de observabilidade LLM auto-hospedada que registra chamadas, calcula custos e sinaliza anomalias automaticamente, para resolver problemas como contas inesperadas e modelos com retornos inválidos. Foi criada uma demonstração ao vivo com 30 dias de rastreamentos de LLM simulados em três projetos para facilitar a experimentação.
O estado atual das ferramentas de observabilidade de LLMs é falho, focando apenas em métricas de entrada como requisições e custos, sem medir a saída real ou o retorno sobre o investimento. Essa deficiência leva as equipes de produtos de IA a tomar decisões arquitetônicas caras e a ter dificuldades em identificar quais clientes ou agentes estão elevando o orçamento.