post-training quantization

FAIR-Calib: Frontier-Aware Instability-Reweighted Calibration for Post-Training Quantization of Diffusion Large Language Models

Les Modèles de Langage de Diffusion (dLLMs) sont confrontés à un "délai de stabilité" dû à l'engagement irréversible des tokens, un problème exacerbé par les erreurs de Quantification Post-Entraînement (PTQ). FAIR-Calib propose un cadre PTQ en deux étapes qui utilise un a priori de position et une calibration couche par couche pour protéger les états frontaliers fragiles, améliorant la quantification pour les dLLMs.