How Prompt Caching Cuts AI Costs by 90%

Prompt-Caching, das von Anthropic eingeführt und auch von anderen großen LLM-Anbietern angeboten wird, kann die Kosten für KI-APIs um bis zu 90 % senken. Diese Optimierung nutzt zuvor berechnete interne Zustände für wiederholte Prompt-Teile wieder, was zu schnelleren Antworten und erheblichen Einsparungen führt.