Foundation-Preserving Adaptation via Generalized Rayleigh-Quotient Optimization

Este artículo propone FoLoRA, un marco de optimización que aborda la degradación de capacidades no objetivo durante el ajuste fino de modelos de base. Utiliza un cociente de Rayleigh generalizado para equilibrar la utilidad de la tarea y la penalización de olvido, guiando las actualizaciones para preservar el conocimiento de preentrenamiento.