Vector Merging

Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey

Dieses Papier untersucht die Wirksamkeit von Vektor-Fusionsmethoden für die mehrsprachige Wissensbearbeitung (MKE) in großen Sprachmodellen, wobei der Fokus auf der Reduzierung von Interferenzen zwischen sprachspezifischen Bearbeitungen liegt. Durch die Bewertung von sechs Fusionsvarianten mit zwei populären Backbone-LLMs, zwei Wissensbearbeitungsmethoden und 12 Sprachen auf dem MzsRE-Benchmark wird festgestellt, dass die Vektorsumme mit geteilter Kovarianz die insgesamt zuverlässigste Strategie ist.