Knowledge Editing

2 items

RESEARCHarXiv CS.CL·vor 26T

Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey

Dieses Papier untersucht die Wirksamkeit von Vektor-Fusionsmethoden für die mehrsprachige Wissensbearbeitung (MKE) in großen Sprachmodellen, wobei der Fokus auf der Reduzierung von Interferenzen zwischen sprachspezifischen Bearbeitungen liegt. Durch die Bewertung von sechs Fusionsvarianten mit zwei populären Backbone-LLMs, zwei Wissensbearbeitungsmethoden und 12 Sprachen auf dem MzsRE-Benchmark wird festgestellt, dass die Vektorsumme mit geteilter Kovarianz die insgesamt zuverlässigste Strategie ist.

multilingual LLMs Natural Language Processing Vector Merging Knowledge Editing

RESEARCHarXiv CS.LG·vor 12T

One Mask to Rule Them All: On Hidden Facts after Editing and How to Find Them

Die Studie untersucht die internen Mechanismen von Wissensbearbeitungsmethoden wie ROME und MEMIT und stellt fest, dass verschiedene Bearbeitungen eine gemeinsame Funktionsstruktur aufweisen, die von einer bestimmten Untergruppe von Gewichten abhängt. Eine binäre Maske über diesen Gewichten macht die meisten Bearbeitungen rückgängig, indem sie Überaufmerksamkeit in späteren Schichten eliminiert, was die Notwendigkeit dieses Mechanismus für den Bearbeitungserfolg beweist.

AI models MLP Weights machine learning Transformer Models