spectral preconditioning

FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning

Diese Forschung stellt FuRA (Full-Rank Adaptation) vor, eine neuartige parameter-effiziente Feinabstimmungsmethode, die bestehende Techniken durch spektrale Vorbedingung verbessert. Durch die Reparameterisierung von Gewichtsmatrizen mittels vollständiger Singulärwertzerlegung und die Beschränkung von Aktualisierungen übertrifft FuRA die uneingeschränkte vollständige Feinabstimmung bei gleichzeitiger Effizienz.