RESEARCHarXiv CS.LG·1d atrás
FAIR-Calib: Frontier-Aware Instability-Reweighted Calibration for Post-Training Quantization of Diffusion Large Language Models
Modelos de Linguagem Grandes de Difusão (dLLMs) enfrentam um "atraso de estabilidade" devido à confirmação irreversível de tokens, problema exacerbado por erros de Quantização Pós-Treinamento (PTQ). FAIR-Calib propõe uma estrutura PTQ de duas etapas que utiliza um prior de posição e calibração por camada para proteger estados de fronteira frágeis, melhorando a quantização para dLLMs.
40