Why Limit the Residual Stream to Layers and Not Tokens? Persistent Memory for Continuous Latent Reasoning

Große Sprachmodelle (LLMs) stoßen auf eine Einschränkung namens 'Konzept-Engpass', bei der sie kritische Fakten in tiefen latenten Schlussfolgerungen verlieren. Dieses Papier schlägt AGCLR vor, um dies zu beheben, indem CoCoNuT mit einem Gated Concept Stream für persistenten Speicher erweitert wird.