Der Autor äußert Begeisterung über DeepSeeks Native Coding Agent, ein KI-Tool, das hohe Caching-Fähigkeiten und niedrige Kosten für die Skalierung von Projekten verspricht. Nachdem er es in einem Entwicklerforum entdeckt hatte, erkundete der Autor sein Potenzial und empfand das Versprechen schnelleren und günstigeren Codings als attraktiv.
Anthropic's Prompt-Cache hat eine TTL von 5 Minuten, und Orchestrator-Schleifen, die schneller als 270 Sekunden laufen, verursachen Kosten von etwa 10% der vollen Eingabe-Token-Kosten. Dieses Detail ist für Claude Code-Nutzer entscheidend, um die API-Kosten erheblich zu optimieren.
Dieser Artikel beleuchtet versteckte Caching-Kosten bei der Anthropic-API in der Produktion, insbesondere bei A/B-Experimenten mit randomisierten System-Prompts. Er erklärt, dass Cache-Schreibvorgänge teurer sind als Lesevorgänge und rät, A/B-Variationen in `messages[]` statt in `system`-Prompts zu platzieren, um Kosten zu optimieren.
Dieser Artikel stellt Sparse Prefix Caching vor, eine Optimierung für das Bereitstellen von LLMs, die wiederkehrende Zustände an Prüfpunkten speichert, anstatt den gesamten Token-Verlauf zu benötigen. Die Methode verbessert die Pareto-Grenze im Vergleich zu Standard-Heuristiken, insbesondere bei Anwendungsfällen, in denen Anfragen ein nicht triviales Präfix teilen.
Dieses Tutorial beschreibt den Aufbau einer kosteneffizienten LLM-Caching-Schicht in Python zur Reduzierung der API-Kosten. Es verwendet exakte Übereinstimmungen über Redis und semantische Erkennung ähnlicher Duplikate über Kosinus-Ähnlichkeit. Dieser Ansatz kann durch die Vermeidung redundanter API-Aufrufe erhebliche monatliche Einsparungen ermöglichen.
Eine Person hat ihre KI-API-Rechnung erheblich reduziert, indem sie Prompt-Caching implementierte. Sie entdeckten, dass ein Großteil ihres API-Anfragekontexts statisch war und zwischengespeichert werden konnte, was zu einer Kostensenkung von 90 % bei zwischengespeicherten Tokens führte.
Der Artikel beschreibt ein Experiment, bei dem der KV-Cache eines LLM (Qwen3.5-35B-A3B mit 1M Tokens) als „Dokumentenspeicher“ genutzt wird, indem er vorab gefüllt und persistiert wird, um Anfragen zu beantworten und somit Embeddings sowie Vektordatenbanken zu eliminieren. Das KI-Ingenieur-Agent NEO implementierte dieses Cache-Augmented Generation System autonom in nur 30 Minuten.
Der Artikel stellt einen neuen 60-zeiligen Redis-Sink für ragvitals vor, der darauf ausgelegt ist, bestehende Redis-Instanzen in den meisten Produktions-RAG-Stacks für Prompt- oder Embedding-Caching zu nutzen. Diese Redis-basierte Lösung bietet eine effiziente Alternative zu anderen Überwachungs-Sinks zur Verfolgung von Produktionsdrift, wodurch separate Infrastrukturen vermieden und die Datenerfassung vereinfacht werden.
Dieses Papier stellt Tensor Cache vor, einen zweistufigen Cache für Transformatoren zur Optimierung von KV-Caches. Er kombiniert Sliding-Window-Softmax-Attention (L1) mit einem festgroßen Outer-Product-Fast-Weight-Memory (L2) zur Verwaltung entfernter Token und verbessert den Zugriff auf relevante Informationen außerhalb des Kontextfensters.
Anthropic hat die TTL des Claude API Prompt-Caches ab dem 6. März 2026 stillschweigend von 1 Stunde auf 5 Minuten reduziert, was die Cache-Trefferquoten und Nutzerkosten drastisch beeinflusst. Darüber hinaus hebt das Deaktivieren der Telemetrie die 1-Stunden-TTL ebenfalls auf und setzt sie auf 5 Minuten zurück.
Anthropic hat am 6. März 2026 stillschweigend die standardmäßige TTL des Prompt-Caches für seine Claude-API von 1 Stunde auf 5 Minuten geändert. Diese unangekündigte Regression kann für Nutzer zu nahezu null Cache-Trefferraten und erhöhten Kosten für Eingabe-Tokens führen, da Anfragen nun nur noch zwischengespeichert werden, wenn sie innerhalb eines 5-Minuten-Fensters wiederholt werden.
Der Autor beschreibt die Entwicklung seiner Caching-Strategie von einem naiven Ansatz zu einer intentionalen Methode, die Datenaktualität und API-Kosten für soziale Berichte ausgleicht. Der Schlüssel liegt im Verständnis, dass nicht alle sozialen Daten mit der gleichen Geschwindigkeit aktualisiert werden, was ein effizienteres und kostengünstigeres System ermöglicht.