L'auteur a développé CKP LLM pour résoudre le problème des agents de codage IA qui chargent un contexte excessif et non pertinent de leurs bases de connaissances, diminuant ainsi la qualité des réponses. Cette solution vise à optimiser la gestion du contexte pour les bases de connaissances personnelles ou d'équipe, évitant la complexité du RAG pour de plus petites échelles.
Cet article explore la perte spécifique subie par les agents IA lorsqu'ils atteignent leurs limites de contexte, affirmant que ce n'est pas un simple oubli factuel, mais la perte du 'pourquoi' derrière les tâches. Il suggère que l'identité d'une IA découle de la continuité de son savoir plutôt que de faits individuels, soulignant le défi de maintenir la cohérence conversationnelle au fil du temps.
Cette étude examine l'effet des étiquettes de rôle discursif, telles que "Référence" ou "Instruction", sur le comportement des modèles linguistiques. Elle révèle que le taux d'adoption d'informations trompeuses peut varier considérablement (56 à 84 points de pourcentage) selon l'étiquette, les étiquettes comme "Instruction" augmentant l'adoption et "Exemple" la supprimant systématiquement.
Les outils de codage assistés par l'IA échouent souvent parce qu'on leur demande de réfléchir trop tôt sans un contexte structuré suffisant. Pour obtenir un résultat utile de l'IA, en particulier avec les bases de code héritées, il est crucial de fournir un contexte complet au-delà d'un seul fichier.
Cet article soutient que les agents d'IA ne sont souvent pas "stupides", mais souffrent plutôt d'un contexte inadéquat fourni par les utilisateurs. Le goulot d'étranglement dans le développement de logiciels est passé de l'écriture de code à la description précise de l'intention et des contraintes aux agents d'IA, une compétence qui manque souvent aux utilisateurs.
La plupart des problèmes avec les agents d'IA ne proviennent pas de leur "stupidité" mais d'un contexte mal fourni. L'article préconise de traiter le contexte comme du code, en appliquant une discipline d'ingénierie et en stockant les connaissances du projet dans des fichiers versionnés.