O artigo diferencia ferramentas de observabilidade de IA como LangSmith, úteis para depuração e engenharia, de trilhas de auditoria necessárias para conformidade e regulamentação. Ele enfatiza que as primeiras respondem a questões de "por que não funcionou?", enquanto as últimas provam a autorização e as ações do agente de IA.
Der Autor erlebte einen Anstieg seiner OpenAI-Rechnung um 200% aufgrund unerfasster stiller Fehler und ineffizienter Prompt-Tests, was ein häufiges Problem des "Blindflugs" bei LLM-API-Kosten verdeutlicht. Sie plädieren dafür, Kosten pro Modell, pro Benutzer und pro Tag mit Budgetwarnungen zu verfolgen, da aggregierte Dashboards für die Zuordnung unzureichend sind.
Dieser Artikel behandelt das kritische Problem der Agenten-Observability in KI-Agenten und LLMs, bei dem Probleme wie Endlosschleifen oder schlechte Retrieval-Ergebnisse nach der Bereitstellung auftreten können. Er stellt Tools wie LangSmith, Langfuse und Arize vor und vergleicht sie, die entwickelt wurden, um diese Herausforderungen zu bewältigen.