O artigo apresenta a Memória Associativa de Fase (PAM), um modelo de sequência recorrente que utiliza representações de valores complexos e opera em um espaço de Hilbert complexo. O PAM alcança uma perplexidade de validação de 30.0 no WikiText-103, um desempenho competitivo com transformadores, e aborda a degradação da capacidade em modelos de estado vetorial.
Diese Arbeit schlägt Belief-State RWKV vor, eine stärkere RL-Formulierung, bei der der rekurrente Zustand explizit als Glaubenszustand interpretiert wird. Die Methode pflegt einen kompakten, unsicherheitsbewussten Zustand, der es Richtlinien ermöglicht, sich in teilweise beobachtbaren Umgebungen sowohl auf Gedächtnis als auch auf Vertrauen zu stützen.
Diese Forschung untersucht systematisch die Platzierung von LoRA in hybriden Sprachmodellen, die Aufmerksamkeits- und rekursive Komponenten kombinieren. Es wird festgestellt, dass die Anpassung des Aufmerksamkeits-Pfades die vollständige Modelladaption konsistent übertrifft und dabei erheblich weniger trainierbare Parameter benötigt, wobei die Anpassung des rekurrenten Rückgrats je nach Hybridarchitektur drastisch unterschiedlich wirkt.
Diese Arbeit untersucht, wie Aktionsinformationen in die Zustandsaktualisierungsfunktion einer rekurrenten Zelle in rekurrenten neuronalen Netzen (RNNs) für das Reinforcement Learning (RL) integriert werden können. Die Autoren diskutieren verschiedene Optionen und bewerten die resultierenden Architekturen empirisch anhand illustrativer Domänen.