Sleep Phase Cuts Transformer Costs by Consolidating Memory

Un nouvel article propose une phase de "sommeil" pour les modèles de langage, consolidant le contexte en mémoire de taille fixe. Cela réduit les coûts d'inférence quadratiques et améliore les performances sur les tâches à long terme.