Cet article explore les coûts réels de l'intelligence artificielle, soulignant la consommation significative d'énergie et de ressources nécessaires pour entraîner et opérer les modèles d'IA. Il aborde l'impact environnemental et économique de la demande croissante d'infrastructures d'IA.
Une fonctionnalité d'IA en production a entraîné des coûts étonnamment élevés en raison de requêtes client plus longues et de l'ajout de récupération de contexte, doublant l'utilisation des tokens. L'absence d'outils d'attribution des coûts dans le tableau de bord OpenAI rend difficile de savoir quelle fonctionnalité ou quel modèle génère les dépenses.
Le prix du token est une métrique facile mais trompeuse pour le coût de l'IA. La véritable mesure devrait être le coût par tâche accomplie, car des tokens moins chers pourraient ne pas être plus économiques s'ils nécessitent plus de travail pour le même résultat utilisable.
Le nouveau tokenizer de Claude Opus 4.7 entraîne une augmentation effective de 35 % du coût pour le même travail, consommant plus de tokens que la version 4.6. Malgré les améliorations de raisonnement pour les tâches complexes, l'auteur prévoit d'utiliser 4.7 de manière sélective et de conserver 4.6 pour les tâches où l'efficacité des tokens est primordiale.
Cet article explore l'expérience de l'auteur atteignant la limite d'utilisation de ChatGPT, révélant des schémas de répétition et d'inefficacité dans l'interaction avec les LLM. Il soulève des questions sur le coût caché et le besoin d'un changement de perspective sur la façon dont nous utilisons ces outils.
L'auteur a constaté une augmentation de 40% de sa facture d'IA (Claude) malgré ses efforts pour réduire son utilisation. Ce coût inattendu était dû à l'habitude de maintenir des conversations longues et ouvertes, accumulant du contexte et augmentant la consommation de jetons.
L'article démystifie la croyance selon laquelle l'IA consomme trop d'eau, affirmant qu'une requête ChatGPT en utilise peu, mais souligne le coût élevé, souvent négligé, des services d'IA. Il détaille comment le prix d'un abonnement ChatGPT Plus représente une part significative des revenus dans divers pays, notamment en dehors des États-Unis.