Why LLM Cost Dashboards Are Not Enough — The Runtime Enforcement Gap

L'auteur met en lumière une lacune critique dans la gestion des coûts des LLM en production : malgré l'existence d'outils d'observabilité, l'application du budget en temps réel est manquante. Il soutient que découvrir des factures élevées en fin de mois via des tableaux de bord est trop tard et présente LLMeter, un outil open-source pour l'attribution des coûts par utilisateur et les alertes budgétaires.