Your LLM cost estimate is fine. Your rate-limit math is what pages you at 2am.

O artigo argumenta que a estimativa de custos de LLM é um problema menor em comparação com os desafios de limites de taxa (rate-limits) em produção. A saturação desses limites leva a falhas em cascata, sendo o modo de falha dominante para aplicações LLM em produção.