Cloudflare hat Unweight entwickelt, ein verlustfreies Kompressionssystem, das LLM-Gewichte um 15–22 % reduziert, um Engpässe bei der GPU-Inferenz zu überwinden. Es komprimiert die Exponenten-Bytes von BF16-Gewichten mittels Huffman-Codierung und bewahrt bitgenaue Ausgaben.
StateSMix ist ein eigenständiger verlustfreier Kompressor, der ein online-trainiertes Mamba-ähnliches State Space Model (SSM) mit sparsamer N-Gramm-Kontextmischung und arithmetischer Kodierung kombiniert. Es wird von Grund auf neu initialisiert und Token für Token auf der zu komprimierenden Datei trainiert, benötigt keine vortrainierten Gewichte, keine GPU und keine externen Abhängigkeiten, und erzielt gute Ergebnisse beim enwik8-Benchmark.
Este estudo explora a compressão de texto gerado por LLMs em regimes com e sem perdas, apresentando métodos que melhoram a eficiência em 2x, como adaptadores LoRA e reescritas concisas. Introduz também a compressão interativa por Perguntas e Respostas (QA), um protocolo que transfere um bit por resposta para recuperar uma parte significativa da capacidade de modelos maiores.