O artigo diferencia ferramentas de observabilidade de IA como LangSmith, úteis para depuração e engenharia, de trilhas de auditoria necessárias para conformidade e regulamentação. Ele enfatiza que as primeiras respondem a questões de "por que não funcionou?", enquanto as últimas provam a autorização e as ações do agente de IA.
El autor experimentó un aumento del 200% en su factura de OpenAI debido a fallos silenciosos no rastreados y pruebas de prompts ineficientes, destacando la falta de visibilidad en los costos de las APIs de LLM. Recomienda el seguimiento detallado de los costos por modelo, usuario y día, con alertas de presupuesto, ya que los paneles agregados son insuficientes para la atribución.
Este artículo discute el problema crítico de la observabilidad de agentes en IA y LLMs, donde pueden surgir problemas como bucles infinitos o recuperación deficiente después del despliegue. Introduce y compara herramientas como LangSmith, Langfuse y Arize, diseñadas para abordar estos desafíos.