spectral preconditioning

FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning

Cette recherche introduit FuRA (Full-Rank Adaptation), une nouvelle méthode de réglage fin efficace en paramètres qui aborde les limites des techniques existantes en incorporant un préconditionnement spectral. En reparamétrant les matrices de poids via la décomposition en valeurs singulières de rang complet et en limitant les mises à jour, FuRA surpasse le réglage fin complet non contraint tout en maintenant l'efficacité.