O artigo apresenta a Memória Associativa de Fase (PAM), um modelo de sequência recorrente que utiliza representações de valores complexos e opera em um espaço de Hilbert complexo. O PAM alcança uma perplexidade de validação de 30.0 no WikiText-103, um desempenho competitivo com transformadores, e aborda a degradação da capacidade em modelos de estado vetorial.
Este artículo propone Belief-State RWKV, una formulación más sólida de RL donde el estado recurrente se interpreta explícitamente como un estado de creencia. El método mantiene un estado compacto consciente de la incertidumbre, permitiendo que las políticas dependan tanto de la memoria como de la confianza en entornos parcialmente observados.
Esta investigación estudia sistemáticamente la colocación de LoRA en modelos de lenguaje híbridos que combinan atención y componentes recurrentes. Se encuentra que adaptar la vía de atención supera consistentemente la adaptación del modelo completo con muchos menos parámetros, y el efecto de adaptar el núcleo recurrente varía drásticamente según la arquitectura híbrida (secuencial vs. paralela).
Este artículo investiga cómo se puede incorporar la información de acción en la función de actualización de estado de una celda recurrente en redes neuronales recurrentes (RNN) para el aprendizaje por refuerzo (RL). Los autores discuten varias opciones y evalúan empíricamente las arquitecturas resultantes en dominios ilustrativos.