spectral preconditioning

FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning

Esta investigación presenta FuRA (Full-Rank Adaptation), un nuevo método de ajuste fino eficiente en parámetros que aborda las limitaciones de las técnicas existentes mediante el preacondicionamiento espectral. Al reparametrizar matrices de peso a través de la Descomposición de Valor Singular de rango completo y restringir las actualizaciones, FuRA supera el ajuste fino completo sin restricciones manteniendo la eficiencia.