Human-like Working Memory Interference in Large Language Models

Cette étude analyse les limitations de la mémoire de travail dans les Large Language Models (LLMs), mettant en évidence des signatures d'interférence similaires à celles observées chez l'homme. Les LLMs pré-entraînés montrent une dégradation des performances avec la charge de mémoire et un biais par la récence, bien que les transformateurs puissent être entraînés à résoudre ces tâches parfaitement.