Dieser Artikel beleuchtet versteckte Caching-Kosten bei der Anthropic-API in der Produktion, insbesondere bei A/B-Experimenten mit randomisierten System-Prompts. Er erklärt, dass Cache-Schreibvorgänge teurer sind als Lesevorgänge und rät, A/B-Variationen in `messages[]` statt in `system`-Prompts zu platzieren, um Kosten zu optimieren.
Der Artikel erklärt, warum Prompts in Chat-Interfaces wie ChatGPT gut funktionieren, aber bei direkter Nutzung über die API in einer Anwendung scheitern. Diese Diskrepanz entsteht, weil Chat-Interfaces im Hintergrund stillschweigend eigene System-Prompts und andere Hilfen injizieren.
Agentische Schleifen in der Produktion können hohe Kosten verursachen, insbesondere bei der Nutzung von LLMs und externen APIs, wo die Abrechnung oft an die Token-Nutzung gebunden ist. Die Implementierung von Prompt-Kompression bietet eine effektive Strategie zur Reduzierung dieser Ausgaben.
Der Autor verfolgte sechs Monate lang die Kosten für KI-APIs und stellte fest, dass hohe Ausgaben auf ineffiziente Nutzungsgewohnheiten wie lange Sitzungen mit großen Kontextfenstern zurückzuführen waren. Die zentrale Erkenntnis war, dass die Gesprächslänge die Kosten exponentiell erhöht, besonders wenn der Kontext nicht aktiv verwaltet wird.