Cloudflare creó Unweight, un sistema de compresión sin pérdidas que reduce los pesos de LLMs entre un 15% y un 22% para optimizar la inferencia en GPUs. Utiliza codificación Huffman para comprimir los exponentes de los pesos BF16, manteniendo salidas bit a bit exactas.
StateSMix es un compresor sin pérdidas autocontenido que acopla un Modelo de Espacio de Estado (SSM) estilo Mamba entrenado en línea con mezcla de contexto de n-gramas dispersos y codificación aritmética. Se inicializa desde cero y se entrena token por token en el archivo, sin requerir pesos preentrenados, GPU o dependencias externas, y logra buenos resultados en el benchmark enwik8.
Este estudo explora a compressão de texto gerado por LLMs em regimes com e sem perdas, apresentando métodos que melhoram a eficiência em 2x, como adaptadores LoRA e reescritas concisas. Introduz também a compressão interativa por Perguntas e Respostas (QA), um protocolo que transfere um bit por resposta para recuperar uma parte significativa da capacidade de modelos maiores.