Reducing the Safety Tax in LLM Safety Alignment with On-Policy Self-Distillation

Cet article présente l'auto-distillation on-policy (OPSA) pour réduire la "taxe de sécurité" dans l'alignement de sécurité des LLM. L'OPSA s'attaque au problème de déséquilibre de distribution de l'entraînement off-policy en faisant générer au modèle ses propres trajectoires et en recevant une supervision KL dense.