Your LLM cost estimate is fine. Your rate-limit math is what pages you at 2am.

El artículo sostiene que, si bien las estimaciones de costos de LLM son una preocupación menor, los límites de tasa son el modo de fallo predominante para las aplicaciones LLM en producción. La saturación de los límites de tasa provoca fallos en cascada, a diferencia de las pequeñas discrepancias de costos, y a menudo se pasa por alto en las herramientas de planificación.