Token Budget Negotiator est un outil qui optimise les prompts des LLM en identifiant et supprimant systématiquement les sections non essentielles. Il utilise une boucle d'ablation gloutonne et un juge LLM pour réduire la longueur du prompt, maintenant la qualité tout en atteignant les économies ciblées.
Le texte présente le "AI slop" comme un problème d'ingénierie, et non de modèle, suggérant que la qualité des sorties des LLM doit être assurée par un "harnais" de validation et de réessais. Au lieu de se fier uniquement aux invites, la solution consiste à traiter le modèle comme une dépendance peu fiable nécessitant des étapes de validation supplémentaires.
Ce document décrit une technique d'ingénierie d'invites qui améliore la qualité des réponses des modèles d'IA en remplaçant les exemples statiques par des exemples sémantiquement similaires récupérés d'une base de données vectorielle. Cela implique d'indexer les conversations réussies et d'injecter les exemples les plus pertinents dans l'invite du système pour des tâches complexes.
L'auteur a réduit sa facture OpenAI de 73% en passant des invites conversationnelles aux invites JSON, suite à une augmentation significative des coûts. Cette technique résout les problèmes de sortie imprévisible, de surconsommation de jetons et d'erreurs d'analyse inhérents aux méthodes d'invites traditionnelles.
Un développeur a eu du mal à faire en sorte qu'un outil de révision de code basé sur un LLM adhère à un style de code-base spécifique en utilisant l'ingénierie d'invites et le RAG. Le fine-tuning d'un modèle plus petit avec des milliers d'exemples personnalisés s'est avéré nécessaire pour intérioriser le style souhaité.
La mise en cache des invites, lancée par Anthropic et proposée par d'autres grands fournisseurs de LLMs, peut réduire les coûts des API d'IA jusqu'à 90%. Cette optimisation réutilise les états internes précédemment calculés pour les parties communes des invites, entraînant des réponses plus rapides et des économies substantielles.
L'article décrit comment l'ingénierie de prompt passe d'une activité informelle à une discipline d'ingénierie logicielle à mesure que les systèmes d'IA deviennent plus complexes. Il souligne les défis de la gestion des prompts en production et les signes qu'une approche plus formelle est nécessaire.
L'article décrit une expérience avec Claude Code (Opus 4.7) où l'IA a été invitée à réfléchir sur ses propres styles de pensée, plutôt que de simplement recevoir des tâches. L'auteur a identifié six axes de pensée qui peuvent changer la façon dont nous interagissons avec l'IA et a créé une invite pour que d'autres puissent l'essayer.
Cet article décrit sept habitudes d'ingénierie assistées par l'IA qui optimisent le flux de travail, soulignant l'importance de fournir du contexte et de traiter les invites comme des tickets. Il met en évidence que l'utilité de l'IA dépend directement de la structure et de la clarté de l'entrée fournie.
Une personne a considérablement réduit sa facture d'API IA en mettant en œuvre la mise en cache des invites. Elle a découvert qu'une grande partie du contexte de ses requêtes API était statique et pouvait être mise en cache, entraînant une réduction de 90 % du coût des jetons mis en cache.
Cet article traite d'un schéma coûteux où les Agents IA répètent la même tâche plusieurs fois, appelé "prompt tunneling", plutôt qu'un véritable débogage. L'auteur propose un mécanisme d'auto-détection de boucle pour permettre aux agents d'identifier et d'arrêter leurs propres cycles répétitifs.
L'article explore comment les invites structurées peuvent réduire considérablement l'utilisation de jetons (35-40%) par rapport aux formats non structurés, impactant directement les coûts. Il souligne également l'importance de savoir quand cette économie de jetons se traduit par de meilleures réponses du modèle et quand il s'agit simplement d'un coût supplémentaire, basé sur des expériences avec Claude Sonnet 4.6.
Cet article détaille une méthodologie pour créer un fichier `CLAUDE.md` efficace, qui contraint un agent IA en codifiant des règles dérivées d'erreurs passées. Il souligne le rôle de `CLAUDE.md` comme un ensemble d'instructions continu pour l'IA, distinct de la documentation destinée aux humains.
L'article présente une structure à quatre couches et quatre règles pour un fichier CLAUDE.md efficace, conçu pour guider et contraindre un agent IA (Claude Code) dans la gestion d'un grand codebase. Il souligne l'importance d'écrire les interdits avant les bonnes pratiques et la distinction fondamentale entre un README (pour humains) et un CLAUDE.md (pour agents).
Cet article détaille comment l'auteur a développé des compétences marketing réutilisables pour GitHub Copilot, en expliquant le processus et les raisons de cette initiative. Il explore l'application de l'IA pour optimiser les tâches marketing et améliorer l'efficacité.
Les invites d'IA sont plus efficaces lorsqu'elles sont liées à des flux de travail réels, offrant contexte et structure pour des résultats fiables. Cela contraste avec les instructions isolées, rendant la sortie de l'IA plus fiable et reproductible pour le travail en entreprise.
L'article critique les mauvaises utilisations courantes des Claude Skills, préconisant de les traiter comme du code et de la logique opérationnelle plutôt que comme de la poésie de prompt. Il explique que les Skills sont des répertoires à divulgation progressive, permettant aux agents de charger efficacement des connaissances réutilisables et des workflows à la demande.
Un post LinkedIn a suggéré que les API RESTful pourraient être remplacées par un point d'entrée unique pour les invites d'IA. Cet article explore les implications de cette affirmation, analysant comment l'intelligence artificielle pourrait redéfinir l'interaction avec les services web et la nature des contrats d'API. Il discute de la rigidité des API actuelles face à l'imprécision humaine et du rôle de l'IA en tant qu'interprète.
Cet article soutient que les agents d'IA ne sont souvent pas "stupides", mais souffrent plutôt d'un contexte inadéquat fourni par les utilisateurs. Le goulot d'étranglement dans le développement de logiciels est passé de l'écriture de code à la description précise de l'intention et des contraintes aux agents d'IA, une compétence qui manque souvent aux utilisateurs.
La plupart des problèmes avec les agents d'IA ne proviennent pas de leur "stupidité" mais d'un contexte mal fourni. L'article préconise de traiter le contexte comme du code, en appliquant une discipline d'ingénierie et en stockant les connaissances du projet dans des fichiers versionnés.