Cloudflare a développé Unweight, un système de compression sans perte qui réduit les poids des LLM de 15 à 22% pour optimiser l'inférence sur GPU. Il compresse les octets des exposants des poids BF16 via le codage de Huffman, préservant ainsi la qualité exacte des sorties.
StateSMix est un compresseur sans perte autonome qui couple un modèle d'espace d'état (SSM) de style Mamba entraîné en ligne avec un mélange de contexte de n-grammes épars et un codage arithmétique. Il est initialisé à partir de zéro et entraîné jeton par jeton sur le fichier, ne nécessitant ni poids pré-entraînés, ni GPU, ni dépendances externes, et atteint de bonnes performances sur le benchmark enwik8.
Este estudo explora a compressão de texto gerado por LLMs em regimes com e sem perdas, apresentando métodos que melhoram a eficiência em 2x, como adaptadores LoRA e reescritas concisas. Introduz também a compressão interativa por Perguntas e Respostas (QA), um protocolo que transfere um bit por resposta para recuperar uma parte significativa da capacidade de modelos maiores.