N-gram

StateSMix: Online Lossless Compression via Mamba State Space Models and Sparse N-gram Context Mixing

StateSMix es un compresor sin pérdidas autocontenido que acopla un Modelo de Espacio de Estado (SSM) estilo Mamba entrenado en línea con mezcla de contexto de n-gramas dispersos y codificación aritmética. Se inicializa desde cero y se entrena token por token en el archivo, sin requerir pesos preentrenados, GPU o dependencias externas, y logra buenos resultados en el benchmark enwik8.