Knowledge Editing

2 items

RESEARCHarXiv CS.CL·il y a 25j

Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey

Cet article étudie l'efficacité des méthodes de fusion de vecteurs pour l'édition de connaissances multilingues (MKE) dans les Grands Modèles de Langage, en se concentrant sur la réduction des interférences entre les modifications spécifiques à chaque langue. Évaluant six variantes de fusion avec deux LLM, deux méthodes d'édition et 12 langues sur le benchmark MzsRE, il conclut que la sommation vectorielle avec covariance partagée est la stratégie globale la plus fiable.

multilingual LLMs Natural Language Processing Vector Merging Knowledge Editing

RESEARCHarXiv CS.LG·il y a 11j

One Mask to Rule Them All: On Hidden Facts after Editing and How to Find Them

L'article explore les mécanismes internes des méthodes d'édition de connaissances comme ROME et MEMIT, montrant que diverses modifications partagent une structure fonctionnelle commune dépendant d'un sous-ensemble spécifique de poids. Un masque binaire sur ces poids annule la plupart des éditions en éliminant la sur-attention dans les couches ultérieures, prouvant la nécessité de ce mécanisme pour le succès des éditions.

AI models MLP Weights machine learning Transformer Models