ARTICLEDEV.to AI·il y a 5j
Context Window Management: Tactics That Survive Real Sessions
Les grands modèles linguistiques ont souvent une fenêtre de contexte pratique nettement plus petite que leur limite nominale annoncée en raison des frais généraux et de la dégradation de l'attention. Cette divergence affecte la conception des prompts et entraîne des baisses de qualité et un tronquage bien avant que la limite stricte de jetons ne soit atteinte.
29