Foundation-Preserving Adaptation via Generalized Rayleigh-Quotient Optimization

Cet article présente FoLoRA, un cadre d'optimisation qui vise à prévenir la dégradation des capacités non ciblées lors du réglage fin des modèles de fondation. Il utilise un quotient de Rayleigh généralisé pour équilibrer l'utilité de la tâche et la pénalité d'oubli, dirigeant les mises à jour pour préserver les connaissances pré-entraînement.