O artigo diferencia ferramentas de observabilidade de IA como LangSmith, úteis para depuração e engenharia, de trilhas de auditoria necessárias para conformidade e regulamentação. Ele enfatiza que as primeiras respondem a questões de "por que não funcionou?", enquanto as últimas provam a autorização e as ações do agente de IA.
L'auteur a subi une augmentation de 200% de sa facture OpenAI en raison de défaillances silencieuses non suivies et de tests de prompts inefficaces, soulignant le manque de visibilité sur les coûts des API LLM. Il préconise un suivi détaillé des coûts par modèle, utilisateur et jour, avec des alertes budgétaires, car les tableaux de bord agrégés sont insuffisants pour l'attribution.
Cet article aborde le problème critique de l'observabilité des agents dans l'IA et les LLM, où des problèmes tels que des boucles infinies ou une récupération médiocre peuvent survenir après le déploiement. Il présente et compare des outils comme LangSmith, Langfuse et Arize, conçus pour relever ces défis.