Cloudflare a lancé Unweight, un système de compression sans perte qui réduit la taille des LLM de 15 à 22 % sans sacrifier la précision de sortie. L'outil, qui économise environ 3 Go de VRAM sur les GPU Nvidia H100 pour Llama-3.1-8B, a été mis en open-source sur GitHub avec des plans pour étendre la compression.
Ce projet introduit la bibliothèque Python "torch-nvenc-compress", qui utilise le silicium NVENC/NVDEC du GPU pour compresser les activations et le cache KV des LLM, visant à surmonter les goulots d'étranglement de bande passante PCIe dans les configurations multi-GPU. Il mesure un chevauchement de chemin parallèle à 67% du maximum théorique, améliorant la communication entre les GPU grand public.
![torch-nvenc-compress: GPU NVENC silicon as a PCIe bandwidth multiplier — PCA + pure-ctypes Video Codec SDK wrapper. Parallel-path overlap measured at 67% of theoretical max on a real GEMM + encode workload. [P]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://external-preview.redd.it/vqLrMLU0urgSqpiud1c7Ilq7WSsJhRPX63HDDrDRN6M.png?width=640&crop=smart&auto=webp&s=0d43a15121928a0c4b5e3a9730e67ff06df77324)
Cet article explore la relation entre l'entropie, la compression et l'intelligence, constituant la première partie d'une série. Il vise à redéfinir la compréhension de ces concepts fondamentaux.
Cette recherche introduit des modèles de séquence génériques à triple latence, qui utilisent un état de jeton courant et une mémoire de paires compressée pour capturer des interactions de jetons d'ordre supérieur. Ces modèles démontrent une amélioration par rapport à une base de référence Transformer sur des benchmarks de modèles de langage, bien qu'une extension de récupération améliore le rappel mais soit plus lente.
Cet article recadre la Théorie des Points Infinis de Fujimoto (FIDT) d'un codec universel vers un générateur de domaine spécifique pour les théories D-FUMT₈. Cette refonte, élaborée avec la collaboration de Claude Opus 4.7, permet une reconstruction exacte au byte près et une compression élevée.
Ce travail introduit un cadre de découplage basé sur les splines B pour la compression des modèles Transformer. Il généralise les méthodes existantes basées sur des tenseurs, remédiant à leurs limitations en matière d'instabilité numérique ou d'expressivité.
Este estudo explora a compressão de texto gerado por LLMs em regimes com e sem perdas, apresentando métodos que melhoram a eficiência em 2x, como adaptadores LoRA e reescritas concisas. Introduz também a compressão interativa por Perguntas e Respostas (QA), um protocolo que transfere um bit por resposta para recuperar uma parte significativa da capacidade de modelos maiores.
Google a récemment lancé TurboQuant, une nouvelle suite algorithmique et bibliothèque pour appliquer une quantification et une compression avancées aux grands modèles de langage (LLM) et aux moteurs de recherche vectorielle. Cet outil est un élément indispensable des systèmes RAG.
Ce contenu aborde le codec Opus, soulignant ses capacités à fournir un codage musical de haute qualité avec une faible latence. Il se concentre sur les aspects techniques qui permettent une compression audio efficace et performante.