Mamba

StateSMix: Online Lossless Compression via Mamba State Space Models and Sparse N-gram Context Mixing

O StateSMix é um compressor sem perdas que combina um Modelo de Espaço de Estado (SSM) estilo Mamba treinado online com mistura de contexto de n-gramas esparsos e codificação aritmética. Ele é inicializado do zero e treinado token a token no arquivo, sem exigir pesos pré-treinados, GPU ou dependências externas, e alcança bons resultados no benchmark enwik8.