A Cloudflare desenvolveu o Unweight, um sistema de compressão sem perdas que reduz o tamanho dos pesos de LLMs em 15-22% para otimizar a inferência em GPUs. Ele comprime os bytes dos expoentes dos pesos BF16 usando codificação Huffman, mantendo a qualidade exata das saídas.
O StateSMix é um compressor sem perdas que combina um Modelo de Espaço de Estado (SSM) estilo Mamba treinado online com mistura de contexto de n-gramas esparsos e codificação aritmética. Ele é inicializado do zero e treinado token a token no arquivo, sem exigir pesos pré-treinados, GPU ou dependências externas, e alcança bons resultados no benchmark enwik8.
Este estudo explora a compressão de texto gerado por LLMs em regimes com e sem perdas, apresentando métodos que melhoram a eficiência em 2x, como adaptadores LoRA e reescritas concisas. Introduz também a compressão interativa por Perguntas e Respostas (QA), um protocolo que transfere um bit por resposta para recuperar uma parte significativa da capacidade de modelos maiores.