Sequence Modeling

2 items

RESEARCHarXiv CS.CL·08/04/2026

Phase-Associative Memory: Sequence Modeling in Complex Hilbert Space

O artigo apresenta a Memória Associativa de Fase (PAM), um modelo de sequência recorrente que utiliza representações de valores complexos e opera em um espaço de Hilbert complexo. O PAM alcança uma perplexidade de validação de 30.0 no WikiText-103, um desempenho competitivo com transformadores, e aborda a degradação da capacidade em modelos de estado vetorial.

Associative Memory Phase-Associative Memory Sequence Modeling Complex Hilbert Space

RESEARCHarXiv CS.LG·il y a 12j

A Simple State Space Model Excels at Multivariate Time Series Classification

Cette recherche étudie systématiquement les modèles d'espace d'états structurés (SSM) pour la classification des séries temporelles, comparant les architectures complexes basées sur Mamba avec des SSM diagonaux plus simples (S4D). Étonnamment, S4D surpasse constamment les variantes basées sur Mamba en termes de précision et d'efficacité sur de grands benchmarks, remettant en question l'hypothèse qu'une complexité accrue du modèle entraîne des gains significatifs dans ce domaine.

Time Series Classification deep learning machine learning Sequence Modeling