How Prompt Caching Cuts AI Costs by 90%

La mise en cache des invites, lancée par Anthropic et proposée par d'autres grands fournisseurs de LLMs, peut réduire les coûts des API d'IA jusqu'à 90%. Cette optimisation réutilise les états internes précédemment calculés pour les parties communes des invites, entraînant des réponses plus rapides et des économies substantielles.