RESEARCH40
FAIR-Calib: Frontier-Aware Instability-Reweighted Calibration for Post-Training Quantization of Diffusion Large Language Models
arXiv CS.LG·8 de junho de 2026
Modelos de Linguagem Grandes de Difusão (dLLMs) enfrentam um "atraso de estabilidade" devido à confirmação irreversível de tokens, problema exacerbado por erros de Quantização Pós-Treinamento (PTQ). FAIR-Calib propõe uma estrutura PTQ de duas etapas que utiliza um prior de posição e calibração por camada para proteger estados de fronteira frágeis, melhorando a quantização para dLLMs.
Ler original ↗