Ce contenu évalue les performances du modèle MoE quantifié Qwen 3.6 35B A3B Q4_K_M sur CPU, en utilisant des benchmarks comme HumanEval, HellaSwag et BFCL. Il a atteint 22 jetons/sec, montrant de solides performances en raisonnement de bon sens (74%) et des résultats solides pour un modèle MoE actif de 3B.
Ce contenu compare la qualité de différentes quantifications du modèle Qwen 3.6 27B à l'aide d'un test de jeu d'échecs personnalisé afin de trouver l'option optimale pour les configurations avec 16 Go de VRAM. Il évalue la capacité des modèles à suivre les états du plateau et à générer des images SVG précises.
Un modèle de langage transformateur (TinyStories-260K) a été exécuté localement sur une Game Boy Color standard, utilisant des poids INT8 et des calculs en virgule fixe. Cette prouesse technique remarquable a impliqué une ROM personnalisée et une tokenisation sur l'appareil, malgré une performance extrêmement lente et une sortie illisible.
Cet article discute des nouveautés architecturales de DeepSeek V4, soulignant son système d'attention hybride (CSA + HCA) et les Manifold-Constrained Hyper-Connections. Il aborde également l'entraînement FP4 QAT à l'échelle de la frontière, le différenciant des modèles précédents.
Ce contenu présente les benchmarks de performance KLD pour les quants GGUF Qwen3.6-35B-A3B d'Unsloth, soulignant leur efficacité par rapport à l'espace disque. Il clarifie également que les mises à jour fréquentes des GGUF sont généralement dues à des corrections de bugs externes ou à des améliorations officielles, et non à des erreurs internes d'Unsloth.
Un utilisateur a constaté que la quantification INT8 sur son modèle de deep learning offrait une meilleure précision d'inférence que FP16, ce qui était inattendu. Il recherche des explications pour la performance supérieure de l'INT8 par rapport au FP16.
Le contenu présente Hipfire, un nouveau moteur d'inférence optimisé pour toutes les GPU AMD, utilisant une méthode de quantification mq4 spéciale. Les benchmarks initiaux de Localmaxxing montrent des accélérations spectaculaires, bien que le créateur précise qu'il n'est pas officiellement lié à AMD.
Ce contenu s'interroge sur le statut actuel de la technologie « Turbo Quant », faisant référence à son battage médiatique d'il y a environ deux semaines et aux requêtes de tirage (pull requests) dans llama.cpp. L'utilisateur cherche une mise à jour sur son développement et son adoption.
Les Modèles de Langage de Diffusion (dLLMs) sont confrontés à un "délai de stabilité" dû à l'engagement irréversible des tokens, un problème exacerbé par les erreurs de Quantification Post-Entraînement (PTQ). FAIR-Calib propose un cadre PTQ en deux étapes qui utilise un a priori de position et une calibration couche par couche pour protéger les états frontaliers fragiles, améliorant la quantification pour les dLLMs.
L'auteur signale une baisse majeure de l'intelligence de plusieurs modèles d'IA comme ChatGPT, Claude, Gemini et Grok, à partir de mi-avril 2026. Il a observé que les modèles ignoraient les instructions et donnaient des résultats superficiels, émettant l'hypothèse d'une réduction de la quantification ou d'une politique délibérée, et suggérant l'utilisation de GPUs louées ou d'IA locale.
Le contenu met en lumière l'optimisation de l'inférence comme la tendance critique façonnant l'infrastructure LLM d'ici 2026, soulignant son importance par rapport à la taille du modèle. Il explique que si la formation est un coût unique, l'inférence est une dépense continue qui impacte directement les marges et l'expérience utilisateur, rendant l'efficacité primordiale.
Cet article présente RateQuant, une méthode pour l'optimisation de la quantification du cache KV à précision mixte dans les grands modèles linguistiques afin de résoudre les goulots d'étranglement de la mémoire. Il s'attaque au problème de l'inadéquation du modèle de distorsion, où l'application du modèle de distorsion d'un quantificateur à un autre dégrade les performances par rapport à la quantification uniforme.
eOptShrinkQ est un pipeline de compression en deux étapes pour le cache KV dans les têtes d'attention des transformateurs. Il utilise le rétrécissement optimal des valeurs singulières et la quantification scalaire par vecteur, basée sur la théorie des matrices aléatoires, pour obtenir une compression quasi sans perte et améliorer la reconstruction.
LiftQuant est un nouveau cadre pour le contrôle continu de la largeur de bit dans les Modèles de Langage de Grande Taille, résolvant les limitations de la quantification basée sur des entiers. Il utilise un mécanisme de "levée puis projection" pour un réglage quasi continu de la largeur de bit pour un déploiement optimal.
Este artigo propõe um pipeline ordenado (poda, quantização INT8 e destilação de conhecimento) para otimizar a compressão de redes neurais, visando a latência de inferência medida em vez de métricas indiretas. A pesquisa revela que a quantização INT8 oferece o principal benefício de tempo de execução, enquanto a poda atua como um pré-condicionador e a destilação de conhecimento recupera a precisão.
Ce guide explique comment déployer Qwen2.5 72B avec vLLM et quantification AWQ sur un Droplet GPU DigitalOcean pour seulement 24 $/mois. Il démontre une réduction de coût significative par rapport aux API d'IA commerciales comme Claude Opus, offrant un raisonnement multilingue de niveau entreprise à une fraction du prix.
Cette recherche examine comment différents niveaux de quantification à faible bit affectent les performances de LLaMA-3.1 en analyse qualitative, notant que les modèles à faible bit produisent souvent des hallucinations. Elle propose une méthode de vérification de prompt multipasse sensible à la quantification pour améliorer la précision en réduisant systématiquement les hallucinations et en filtrant le contenu non fiable.
Ce contenu explore la technique d'apprentissage fédéré, en se concentrant spécifiquement sur la manière dont les mises à jour quantifiées du modèle global peuvent optimiser son efficacité. Il aborde probablement des méthodes pour réduire la surcharge de communication et les coûts de calcul dans les environnements d'apprentissage automatique distribués.
Cet article compare la quantification des LLM en 16, 8 et 4 bits, révélant que le 4 bits, bien que plus rapide, compromet significativement la qualité sur les tâches de raisonnement et de mathématiques. Le véritable compromis se situe entre la tâche et la précision requise, le 8 bits étant optimal pour les tâches exigeant de la précision, offrant une perte de qualité minimale avec seulement une légère réduction de vitesse. Le choix de la quantification doit être basé sur la tâche et les considérations matérielles, et non uniquement sur le matériel.
BitsMoE propose un cadre d'allocation de bits guidé par l'énergie spectrale pour la quantification des grands modèles de langage Mixture-of-Experts (MoE). Il vise à réduire la consommation de mémoire en décomposant les couches MoE et en utilisant des facteurs spectraux spécifiques aux experts pour une quantification à précision mixte et fine.