Why Limit the Residual Stream to Layers and Not Tokens? Persistent Memory for Continuous Latent Reasoning

Los grandes modelos de lenguaje (LLM) enfrentan una limitación llamada 'cuello de botella de concepto', donde pierden hechos críticos en razonamientos latentes profundos. Este artículo propone AGCLR para abordar esto, aumentando CoCoNuT con un flujo de concepto con puerta para memoria persistente.