Sequence Modeling

2 items

RESEARCHarXiv CS.CL·8/4/2026

Phase-Associative Memory: Sequence Modeling in Complex Hilbert Space

O artigo apresenta a Memória Associativa de Fase (PAM), um modelo de sequência recorrente que utiliza representações de valores complexos e opera em um espaço de Hilbert complexo. O PAM alcança uma perplexidade de validação de 30.0 no WikiText-103, um desempenho competitivo com transformadores, e aborda a degradação da capacidade em modelos de estado vetorial.

Associative Memory Phase-Associative Memory Sequence Modeling Complex Hilbert Space

RESEARCHarXiv CS.LG·hace 12d

A Simple State Space Model Excels at Multivariate Time Series Classification

Esta investigación estudia sistemáticamente los modelos de espacio de estados estructurados (SSM) para la clasificación de series temporales, comparando arquitecturas complejas basadas en Mamba con SSM diagonales más simples (S4D). Sorprendentemente, S4D supera consistentemente a las variantes de Mamba en precisión y eficiencia en grandes benchmarks, desafiando la suposición de que una mayor complejidad del modelo conduce a un mejor rendimiento en este dominio.

Time Series Classification deep learning machine learning Sequence Modeling