O artigo apresenta a Memória Associativa de Fase (PAM), um modelo de sequência recorrente que utiliza representações de valores complexos e opera em um espaço de Hilbert complexo. O PAM alcança uma perplexidade de validação de 30.0 no WikiText-103, um desempenho competitivo com transformadores, e aborda a degradação da capacidade em modelos de estado vetorial.
Este artigo propõe uma formulação mais robusta de RL, chamada Belief-State RWKV, onde o estado recorrente é interpretado como um estado de crença explícito. O método mantém um estado compacto consciente da incerteza, permitindo que as políticas considerem tanto a memória quanto a confiança em ambientes parcialmente observáveis.
Esta pesquisa investiga sistematicamente a colocação de LoRA em modelos de linguagem híbridos que combinam atenção e componentes recorrentes. O estudo revela que adaptar o caminho da atenção supera consistentemente a adaptação do modelo completo com menos parâmetros, e o impacto da adaptação do componente recorrente difere significativamente entre arquiteturas híbridas sequenciais e paralelas.
Este artigo investiga como as informações de ação são incorporadas à função de atualização de estado de uma célula recorrente em redes neurais recorrentes (RNNs) para aprendizado por reforço (RL). Os autores discutem várias escolhas e avaliam empiricamente as arquiteturas resultantes em domínios ilustrativos.