Les coûts croissants d'inférence pour les modèles d'IA de pointe impactent les budgets des entreprises, avec des sociétés comme Uber et Microsoft confrontées à des dépenses significatives. Le modèle d'abonnement standard s'avère inadéquat pour refléter la consommation réelle, augmentant les coûts d'ingénierie plus rapidement que les salaires.
Cette recherche présente les Politiques Guide-Cœur (GCoP), un cadre pour diriger des LLM de boîte noire où un modèle guide génère des stratégies pour un modèle central. L'article formalise le GCoP sous un objectif d'utilité sensible au coût, montrant que la performance est régie par l'exécutabilité moyenne du guide, que les méthodes existantes n'optimisent souvent pas efficacement.
L'optimisation des coûts des LLM est cruciale pour les startups d'IA, qui dépensent des centaines de milliers annuellement en inférence, avec 40 à 70 % des jetons utilisés pour des tâches de fond invisibles. L'article critique l'utilisation indiscriminée de modèles coûteux comme Claude Opus ou GPT-4 pour tous les appels d'API, y compris l'extraction de données et la synthèse, ce qui entraîne un gaspillage significatif de ressources.
Un agent d'IA pour la réponse aux incidents a initialement entraîné des coûts élevés, brûlant 40 $ en 3 minutes en raison de l'utilisation excessive d'un grand modèle de langage. En repensant l'architecture avec un routage dynamique et une rétention de contexte, l'équipe a réduit les coûts d'inférence de 65%.
Cet article analyse pourquoi de nombreuses startups d'IA échouent lorsque les coûts d'inférence dépassent ce que les clients sont prêts à payer. Il présente un cadre d'économie unitaire (Coût par Inférence, Revenu par Utilisateur, Marge Brute) et conseille aux fondateurs d'optimiser l'efficacité de l'inférence dès le début, plutôt que de se concentrer uniquement sur la rapidité de mise sur le marché.