Cloudflare lanzó Unweight, un sistema de compresión sin pérdidas que reduce el tamaño de los LLM entre un 15 y un 22% sin sacrificar la precisión de la salida. La herramienta, que ahorra aproximadamente 3 GB de VRAM en GPUs Nvidia H100 para Llama-3.1-8B, ha sido de código abierto en GitHub con planes de extender la compresión.
Este proyecto presenta la biblioteca Python "torch-nvenc-compress", que utiliza el hardware NVENC/NVDEC de la GPU para comprimir activaciones y caché KV de LLMs, con el objetivo de superar los cuellos de botella de ancho de banda PCIe en configuraciones multi-GPU. Mide una superposición de ruta paralela del 67% del máximo teórico, mejorando la comunicación entre GPUs de consumo.
![torch-nvenc-compress: GPU NVENC silicon as a PCIe bandwidth multiplier — PCA + pure-ctypes Video Codec SDK wrapper. Parallel-path overlap measured at 67% of theoretical max on a real GEMM + encode workload. [P]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://external-preview.redd.it/vqLrMLU0urgSqpiud1c7Ilq7WSsJhRPX63HDDrDRN6M.png?width=640&crop=smart&auto=webp&s=0d43a15121928a0c4b5e3a9730e67ff06df77324)
Este artículo explora la relación entre entropía, compresión e inteligencia, siendo la primera parte de una serie. Busca redefinir la comprensión de estos conceptos fundamentales.
Esta investigación introduce modelos de secuencia genéricos triplemente latentes, que utilizan un estado de token en ejecución y memoria de par comprimida para capturar interacciones de tokens de orden superior. Estos modelos muestran mejoras sobre una línea base de Transformer en benchmarks de modelos de lenguaje, aunque una extensión de recuperación mejora la recuperación pero es más lenta.
Este artículo reformula la Teoría de los Puntos Infinitos de Fujimoto (FIDT) de un códec universal a un generador de dominio específico para teorías D-FUMT₈. Desarrollado con la colaboración de Claude Opus 4.7, este nuevo enfoque logra una reconstrucción exacta en bytes y alta compresión.
Este trabajo presenta un marco de desacoplamiento basado en B-splines para la compresión de modelos Transformer. Generaliza los enfoques basados en tensores existentes, abordando sus limitaciones en inestabilidad numérica o expresividad limitada.
Este estudo explora a compressão de texto gerado por LLMs em regimes com e sem perdas, apresentando métodos que melhoram a eficiência em 2x, como adaptadores LoRA e reescritas concisas. Introduz também a compressão interativa por Perguntas e Respostas (QA), um protocolo que transfere um bit por resposta para recuperar uma parte significativa da capacidade de modelos maiores.
Google ha lanzado recientemente TurboQuant, una novedosa suite algorítmica y biblioteca para aplicar cuantificación y compresión avanzadas a grandes modelos de lenguaje (LLMs) y motores de búsqueda vectorial. Esta herramienta es un elemento indispensable de los sistemas RAG.
Este contenido trata sobre el códec Opus, resaltando sus capacidades para ofrecer codificación de música de alta calidad con baja latencia. Se centra en los aspectos técnicos que permiten una compresión de audio eficiente y de alto rendimiento.