L'auteur a implémenté et mis en open source deux idées récentes, Cartridges et STILL, pour la compaction du KV-cache neuronal et l'inférence à long contexte. Le but est de rendre ces idées faciles à inspecter et à exécuter avec du code de benchmark, les comparant également aux méthodes existantes.
O texto explora uma abordagem experimental para indexação de vetores HNSW que utiliza embeddings quantizados de 3 bits, em vez de float32, para reduzir o uso de memória. A técnica, baseada em PolarQuant, permite cálculo de distância eficiente via tabelas pré-computadas, resultando em economia de memória e bom recall, apesar de um processo de construção mais lento e desafios com o ruído de quantização.
Ce travail s'attaque à l'empreinte mémoire importante du caching Key-Value (KV) dans les modèles de transformateur, proposant une optimisation via la dimension de profondeur. Il introduit une méthode de partage de cache inter-couches, montrant que la suppression du cache d'une couche peut être efficace sans perte d'information, et suggère une approche d'entraînement avec attention croisée aléatoire.
Cet article présente RateQuant, une méthode pour l'optimisation de la quantification du cache KV à précision mixte dans les grands modèles linguistiques afin de résoudre les goulots d'étranglement de la mémoire. Il s'attaque au problème de l'inadéquation du modèle de distorsion, où l'application du modèle de distorsion d'un quantificateur à un autre dégrade les performances par rapport à la quantification uniforme.
MegaTrain é um sistema focado em memória que permite o treinamento eficiente de modelos de linguagem grandes com mais de 100 bilhões de parâmetros em precisão total em uma única GPU. Ele armazena parâmetros na memória do host e utiliza otimizações como um motor de execução pipeline e templates de camada sem estado para superar gargalos de largura de banda e maximizar a utilização da GPU.
LoSA propose une attention clairsemée sensible à la localité pour résoudre le problème de l'attention liée à la mémoire et le problème d'inflation KV dans les modèles de langage de diffusion par blocs. La méthode réutilise les résultats d'attention mis en cache pour les jetons stables et applique une attention clairsemée uniquement aux jetons actifs, améliorant ainsi la vitesse et la précision.
La véritable innovation de DeepSeek V4 réside dans son architecture mémoire, et non seulement dans son échelle, rendant son contexte de 1M de tokens réellement utilisable. Grâce à des techniques de compression du cache KV comme CSA et HCA, il réduit la consommation de mémoire de près de 9 fois, surmontant les défis pratiques des modèles à long contexte.
L'auteur explique comment un canal de 'direction' dans la représentation d'état de son IA de Serpent a entraîné une surcharge mémoire de 6,4x. L'utilisation d'uint8 pour seulement 2 bits d'information a empêché un compactage efficace des bits, résultant en 1 600 octets par état au lieu de 250.
Cette recherche remet en question l'hypothèse selon laquelle la PEFT équivaut à l'efficacité de la mémoire pour les LLM sur appareil, montrant que les méthodes existantes peuvent toujours provoquer des erreurs de mémoire insuffisante. Elle introduit LARS, un nouveau cadre qui découple la consommation de mémoire de la longueur de séquence en contraignant le sous-espace d'activation, réduisant l'empreinte mémoire de 33,54% en moyenne.
Cet article introduit BASIS, un algorithme de rétropropagation efficace qui résout le goulot d'étranglement de la mémoire O(L * BN) dans les réseaux neuronaux profonds. Il découple entièrement la mémoire d'activation des dimensions de lot et de séquence, conservant un signal d'erreur exact tout en calculant les mises à jour de poids avec des tenseurs fortement compressés, et propose de nouveaux mécanismes pour stabiliser les gradients.
Cet article introduit LKV (Learned KV Eviction), une nouvelle approche pour optimiser la mémoire cache Key-Value (KV) dans les Large Language Models (LLM). LKV formule la compression du cache KV comme un problème d'optimisation différentiable de bout en bout, apprenant les budgets et la sélection de tokens pour surmonter les limitations des méthodes heuristiques.
Ce travail repense l'éviction du cache KV pour les LLM via un objectif informationnel-théorique dérivé du principe du Goulot d'Information. Il présente CapKV, une nouvelle méthode consciente de la capacité qui préserve l'information, surpassant les stratégies heuristiques existantes.