Vector Merging

Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey

Cet article étudie l'efficacité des méthodes de fusion de vecteurs pour l'édition de connaissances multilingues (MKE) dans les Grands Modèles de Langage, en se concentrant sur la réduction des interférences entre les modifications spécifiques à chaque langue. Évaluant six variantes de fusion avec deux LLM, deux méthodes d'édition et 12 langues sur le benchmark MzsRE, il conclut que la sommation vectorielle avec covariance partagée est la stratégie globale la plus fiable.