O artigo apresenta a Memória Associativa de Fase (PAM), um modelo de sequência recorrente que utiliza representações de valores complexos e opera em um espaço de Hilbert complexo. O PAM alcança uma perplexidade de validação de 30.0 no WikiText-103, um desempenho competitivo com transformadores, e aborda a degradação da capacidade em modelos de estado vetorial.
Cet article propose Belief-State RWKV, une formulation plus robuste du RL où l'état récurrent est explicitement interprété comme un état de croyance. La méthode maintient un état compact conscient de l'incertitude, permettant aux politiques de dépendre à la fois de la mémoire et de la confiance dans des environnements partiellement observés.
Cette recherche étudie systématiquement le placement de LoRA dans les modèles de langage hybrides combinant des composants d'attention et récurrents. Elle révèle que l'adaptation du chemin d'attention surpasse constamment l'adaptation du modèle complet avec moins de paramètres, tandis que l'effet de l'adaptation du composant récurrent varie considérablement selon l'architecture hybride.
Cet article examine comment les informations d'action peuvent être intégrées dans la fonction de mise à jour d'état d'une cellule récurrente au sein des réseaux neuronaux récurrents (RNN) pour l'apprentissage par renforcement (RL). Les auteurs discutent plusieurs choix et évaluent empiriquement les architectures résultantes sur des domaines illustratifs.