Mamba

StateSMix: Online Lossless Compression via Mamba State Space Models and Sparse N-gram Context Mixing

StateSMix ist ein eigenständiger verlustfreier Kompressor, der ein online-trainiertes Mamba-ähnliches State Space Model (SSM) mit sparsamer N-Gramm-Kontextmischung und arithmetischer Kodierung kombiniert. Es wird von Grund auf neu initialisiert und Token für Token auf der zu komprimierenden Datei trainiert, benötigt keine vortrainierten Gewichte, keine GPU und keine externen Abhängigkeiten, und erzielt gute Ergebnisse beim enwik8-Benchmark.