Foundation-Preserving Adaptation via Generalized Rayleigh-Quotient Optimization

Este artigo propõe o FoLoRA, uma estrutura de otimização que aborda a degradação de capacidades não-alvo durante o ajuste fino de modelos de base. Ele utiliza um quociente de Rayleigh generalizado para equilibrar a utilidade da tarefa e a penalidade de esquecimento, guiando as atualizações para preservar o conhecimento pré-treinamento.