Sequence Modeling

2 items

RESEARCHarXiv CS.CL·4/8/2026

Phase-Associative Memory: Sequence Modeling in Complex Hilbert Space

O artigo apresenta a Memória Associativa de Fase (PAM), um modelo de sequência recorrente que utiliza representações de valores complexos e opera em um espaço de Hilbert complexo. O PAM alcança uma perplexidade de validação de 30.0 no WikiText-103, um desempenho competitivo com transformadores, e aborda a degradação da capacidade em modelos de estado vetorial.

Associative Memory Phase-Associative Memory Sequence Modeling Complex Hilbert Space

RESEARCHarXiv CS.LG·vor 12T

A Simple State Space Model Excels at Multivariate Time Series Classification

Diese Forschung untersucht systematisch strukturierte Zustandsraummodelle (SSMs) für die Zeitreihenklassifizierung und vergleicht komplexe Mamba-basierte Architekturen mit einfacheren diagonalen SSMs (S4D). Überraschenderweise übertrifft S4D Mamba-Varianten konsistent in Genauigkeit und Effizienz bei großen Benchmarks, was die Annahme in Frage stellt, dass eine erhöhte Modellkomplexität zu besseren Leistungen in diesem Bereich führt.

Time Series Classification deep learning machine learning Sequence Modeling