Cet article souligne les coûts cachés de la mise en cache avec l'API Anthropic en production, en particulier lors de l'utilisation d'expériences A/B avec des invites système randomisées. Il explique que les écritures de cache sont plus coûteuses que les lectures et conseille de placer les variations A/B dans `messages[]` au lieu des invites `system` pour optimiser les coûts.
L'article explique pourquoi les prompts fonctionnent bien dans les interfaces de chat comme ChatGPT, mais échouent lorsqu'ils sont utilisés directement via l'API dans une application. Cette divergence se produit car les interfaces de chat injectent silencieusement leurs propres prompts système et d'autres aides en arrière-plan.
Les boucles agéntiques en production peuvent engendrer des coûts élevés, notamment avec l'utilisation de LLM et d'APIs externes, où la facturation est souvent liée à l'utilisation des tokens. La mise en œuvre de la compression de prompts représente une stratégie efficace pour réduire ces dépenses.
L'auteur a suivi les coûts des API d'IA pendant six mois et a découvert que les dépenses étaient liées à de mauvaises habitudes d'utilisation, telles que des sessions longues avec de grandes fenêtres de contexte. La leçon principale est que la durée de la conversation augmente exponentiellement les coûts, surtout lorsque le contexte n'est pas géré.