Data-Efficient Autoregressive-to-Diffusion Language Models via On-Policy Distillation

Dieses Papier stellt das On-Policy Diffusion Language Model (OPDLM) vor, um autoregressive Modelle (ARLMs) in Diffusions-Sprachmodelle (DLMs) umzuwandeln. Es befasst sich mit Problemen wie Wissensverlust und der Diskrepanz zwischen Training und Inferenz durch den Einsatz von On-Policy Distillation (OPD).