Este artículo resalta los costos ocultos del almacenamiento en caché con la API de Anthropic en producción, particularmente al usar experimentos A/B con mensajes del sistema aleatorios. Explica que las escrituras en caché son más costosas que las lecturas y aconseja colocar las variaciones A/B en `messages[]` en lugar de en los mensajes `system` para optimizar los costos.
El artículo explica por qué los prompts funcionan bien en interfaces de chat como ChatGPT, pero fallan al usarlos directamente a través de la API en una aplicación. Esta discrepancia ocurre porque las interfaces de chat inyectan silenciosamente sus propios prompts de sistema y otra asistencia oculta.
Los bucles agénticos en producción pueden implicar altos costos, especialmente con el uso de LLMs y APIs externas, donde la facturación suele estar ligada al consumo de tokens. La implementación de la compresión de prompts es una estrategia eficaz para reducir estos gastos.
El autor monitoreó los costos de las APIs de IA durante seis meses y encontró que los gastos estaban vinculados a malos hábitos de uso, como sesiones largas con grandes ventanas de contexto. La lección principal fue que la duración de la conversación aumenta exponencialmente los costos, especialmente cuando el contexto no se gestiona.