Rotation-Preserving Supervised Fine-Tuning

Este artigo propõe o "Rotation-Preserving Supervised Fine-Tuning" (RPSFT) para melhorar a generalização fora do domínio em modelos de linguagem grandes. Ele penaliza mudanças em subespaços singulares pré-treinados, oferecendo um proxy eficiente para direções sensíveis a Fisher e superando baselines SFT padrão.