spectral preconditioning

FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning

Esta pesquisa introduz o FuRA (Full-Rank Adaptation), um novo método de ajuste fino com eficiência de parâmetros que aborda as limitações das técnicas existentes através do pré-condicionamento espectral. Ao reparametrizar matrizes de peso via Decomposição de Valor Singular de rank completo e restringir as atualizações, o FuRA supera o ajuste fino completo irrestrito, mantendo a eficiência.