Les explosions de coûts des agents IA sont un problème majeur en production, où les agents autonomes peuvent engendrer des dépenses massives et silencieuses en LLM. Les solutions actuelles, telles que la surveillance manuelle et les plafonds de dépenses au niveau du fournisseur, sont insuffisantes pour gérer ces coûts incontrôlés.
Cet article traite du problème courant des coûts d'exécution des LLM en production qui augmentent de manière inattendue, expliquant que la cause n'est pas le coût direct du modèle mais plutôt des décisions de conception initiales. Une erreur clé identifiée est l'utilisation d'un point d'accès d'inférence unique et coûteux pour tous les types de requêtes, sans optimisation.
L'auteur présente son "AI Agent Grader v3" gratuit, qui identifie neuf signaux pour distinguer les agents IA sains des échecs silencieux. La nouvelle version s'attaque aux problèmes inattendus de facturation des LLM, tels que le "tokenmaxxing", que les versions précédentes n'avaient pas détectés.
L'article révèle que les agents d'IA, contrairement aux chatbots simples, multiplient considérablement les appels API par requête utilisateur, entraînant des dépassements de budget inattendus. Une expérience a montré qu'un agent de recherche effectuait en moyenne 14 appels LLM par invite, générant des coûts quotidiens substantiels pour les utilisateurs actifs.
L'auteur met en lumière une lacune critique dans la gestion des coûts des LLM en production : malgré l'existence d'outils d'observabilité, l'application du budget en temps réel est manquante. Il soutient que découvrir des factures élevées en fin de mois via des tableaux de bord est trop tard et présente LLMeter, un outil open-source pour l'attribution des coûts par utilisateur et les alertes budgétaires.
Une expérience a montré qu'un agent d'IA a consommé 26 000 jetons et gaspillé 0,40-0,60 $ en effectuant la même tâche de recherche de navigateur 10 fois. L'agent n'a pas appris des sessions précédentes, traitant chaque exécution comme une nouvelle phase d'exploration et démontrant une inefficacité dans les opérations répétitives.
L'article présente le protocole PAX, un format de communication structuré et compressé développé pour les systèmes multi-agents IA. Son objectif est de réduire les coûts en jetons d'environ 70 % et de maintenir le contexte entre 13 agents qui doivent communiquer constamment, en remplaçant la prose anglaise coûteuse.