The Hidden Complexity of "Simple" Text Generation at Scale

Cet article met en lumière les complexités inattendues de la mise à l'échelle de la génération de texte par IA, notamment en ce qui concerne les limites de débit d'API. L'auteur a découvert que les limites de débit d'OpenAI sont multidimensionnelles (RPM, TPM, TPD) et indépendantes, entraînant des échecs même lorsque les limites de base semblaient respectées.