Sparse Memory Finetuning

Sparse Memory Finetuning as a Low-Forgetting Alternative to LoRA and Full Finetuning

Sparse Memory Finetuning (SMF) begegnet dem katastrophalen Vergessen in vortrainierten Sprachmodellen, indem nur eine kleine Untermenge von Speicherzeilen aktualisiert wird. Experimente zeigen, dass SMF die Leistung bei einer medizinischen Prüfungsaufgabe verbessert und gleichzeitig das Vergessen im Vergleich zu LoRA und vollständigem Finetuning erheblich reduziert.