Sequence Modeling

2 items

RESEARCHarXiv CS.CL·08/04/2026

Phase-Associative Memory: Sequence Modeling in Complex Hilbert Space

O artigo apresenta a Memória Associativa de Fase (PAM), um modelo de sequência recorrente que utiliza representações de valores complexos e opera em um espaço de Hilbert complexo. O PAM alcança uma perplexidade de validação de 30.0 no WikiText-103, um desempenho competitivo com transformadores, e aborda a degradação da capacidade em modelos de estado vetorial.

Associative Memory Phase-Associative Memory Sequence Modeling Complex Hilbert Space

RESEARCHarXiv CS.LG·12d atrás

A Simple State Space Model Excels at Multivariate Time Series Classification

Esta pesquisa estuda sistematicamente os modelos de espaço de estados estruturados (SSMs) para classificação de séries temporais, comparando arquiteturas complexas baseadas em Mamba com SSMs diagonais mais simples (S4D). Surpreendentemente, o S4D supera consistentemente as variantes Mamba em precisão e eficiência em grandes benchmarks, desafiando a suposição de que o aumento da complexidade do modelo leva a um melhor desempenho neste domínio.

Time Series Classification deep learning machine learning Sequence Modeling