Your LLM cost estimate is fine. Your rate-limit math is what pages you at 2am.

Cet article affirme que, si les estimations de coûts des LLM sont une préoccupation mineure, les limites de débit sont le mode de défaillance dominant pour les applications LLM en production. La saturation des limites de débit entraîne des défaillances en cascade, contrairement aux légères divergences de coûts, et est souvent négligée par les outils de planification.