Cloudflare a développé Unweight, un système de compression sans perte qui réduit les poids des LLM de 15 à 22% pour optimiser l'inférence sur GPU. Il compresse les octets des exposants des poids BF16 via le codage de Huffman, préservant ainsi la qualité exacte des sorties.
Le contenu met en lumière l'optimisation de l'inférence comme la tendance critique façonnant l'infrastructure LLM d'ici 2026, soulignant son importance par rapport à la taille du modèle. Il explique que si la formation est un coût unique, l'inférence est une dépense continue qui impacte directement les marges et l'expérience utilisateur, rendant l'efficacité primordiale.
Cet article introduit une stratégie bidimensionnelle de « early exit » pour les tâches de classification des LLM, coordonnant la sortie par couche et par phrase. Cette méthode permet des économies de calcul multiplicatives et des accélérations de 1.4 à 2.3 fois par rapport à l'approche par couche seule, applicable à divers LLM pour des tâches plus simples.
Cet article propose SENSE (Semantic Embedding Navigation with Soft-gated Evaluation) pour améliorer le Décodage Spéculatif Basé sur la Récupération (RSD) pour les LLM. SENSE s'attaque aux dépendances lexicales rigides du RSD en utilisant un alignement sémantique robuste et un module d'évaluation à porte souple pour valider l'équivalence sémantique.
TTKV propose un cadre de gestion de cache KV à niveaux temporels pour les LLM, inspiré de la mémoire humaine, afin de résoudre le problème de l'échelle linéaire de la mémoire du cache KV. Il partitionne le cache en niveaux avec une capacité et une précision hétérogènes, attribuant les états KV plus récents aux niveaux plus rapides et de plus haute précision.
Cet article traite du problème courant des coûts d'exécution des LLM en production qui augmentent de manière inattendue, expliquant que la cause n'est pas le coût direct du modèle mais plutôt des décisions de conception initiales. Une erreur clé identifiée est l'utilisation d'un point d'accès d'inférence unique et coûteux pour tous les types de requêtes, sans optimisation.
DeepSeek V4 offre un contexte de 1 million de tokens réellement utilisable, résolvant le problème de mémoire GPU grâce à une architecture d'attention hybride qui compresse le cache KV de près de 9x. Cela en fait une solution pratique pour l'inférence à long contexte, contrairement à de nombreux autres modèles.
Cet article présente le Length Value Model (LenVM), un nouveau cadre au niveau du token pour modéliser la longueur de génération restante dans les modèles autorégressifs. En formulant la modélisation de la longueur comme un problème d'estimation de valeur, LenVM fournit un signal efficace, sans annotation et évolutif pour les LLM et VLM, améliorant les performances sur les tâches de correspondance exacte de longueur.
SpecTr-GBV est une nouvelle méthode de décodage spéculatif qui unifie les stratégies multi-brouillons et la vérification de blocs gourmande pour accélérer l'inférence des modèles de langage. Elle formule l'étape de vérification comme un problème de transport optimal, améliorant l'efficacité théorique et les performances empiriques en atteignant la longueur d'acceptation optimale.
Cet article présente TRACES, un framework léger conçu pour optimiser les Modèles de Raisonnement Linguistique (LRMs) en étiquetant les étapes de raisonnement en temps réel. Il permet un arrêt précoce adaptatif et rentable des inférences LRM, s'attaquant à leur inefficacité actuelle et à la sur-génération d'étapes de vérification.
Cette recherche évalue le décodage spéculatif inter-familles pour les LLM polonais sur Apple Silicon, en étendant le cadre MLX-LM avec la Génération Assistée Universelle (UAG) pour la compatibilité inter-tokeniseurs. Les expériences montrent que la traduction de jetons sensible au contexte améliore considérablement les taux d'acceptation du Bielik 11B sur des jeux de données en langue polonaise.