Mamba

StateSMix: Online Lossless Compression via Mamba State Space Models and Sparse N-gram Context Mixing

StateSMix est un compresseur sans perte autonome qui couple un modèle d'espace d'état (SSM) de style Mamba entraîné en ligne avec un mélange de contexte de n-grammes épars et un codage arithmétique. Il est initialisé à partir de zéro et entraîné jeton par jeton sur le fichier, ne nécessitant ni poids pré-entraînés, ni GPU, ni dépendances externes, et atteint de bonnes performances sur le benchmark enwik8.