← heapsort-ai

Anthropic API

2 items

ARTICLEDEV.to AI·hace 15d

How I Cut My Anthropic API Bill by 50% With a Local Python Tool

El autor redujo significativamente su factura de la API de Anthropic al desarrollar una herramienta CLI local en Python llamada "ai-cost-optimizer". Esta herramienta emplea caché semántico, compresión de prompts y enrutamiento de modelos para abordar problemas comunes como consultas repetidas, prompts redundantes y el uso de modelos de IA costosos para tareas sencillas.

30
ARTICLEDEV.to AI·hace 25d

Anthropic API in production: 5 things the docs don't tell you

Este artículo resalta los costos ocultos del almacenamiento en caché con la API de Anthropic en producción, particularmente al usar experimentos A/B con mensajes del sistema aleatorios. Explica que las escrituras en caché son más costosas que las lecturas y aconseja colocar las variaciones A/B en `messages[]` en lugar de en los mensajes `system` para optimizar los costos.

28