Rotation-Preserving Supervised Fine-Tuning

Diese Arbeit führt "Rotation-Preserving Supervised Fine-Tuning" (RPSFT) ein, um die Out-of-Domain-Generalisierung bei großen Sprachmodellen zu verbessern. Es bestraft Änderungen in vorab trainierten singulären Unterräumen und dient als effizienter Proxy für Fisher-sensitive Richtungen, wobei es Standard-SFT-Baselines übertrifft.