Vector Merging

Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey

Este artículo investiga la eficacia de los métodos de fusión de vectores para la edición de conocimiento multilingüe (MKE) en Grandes Modelos de Lenguaje, centrándose en reducir la interferencia entre ediciones específicas de idiomas. Evaluando seis variantes de fusión con dos LLM, dos métodos de edición y 12 idiomas en el benchmark MzsRE, encuentra que la suma vectorial con covarianza compartida es la estrategia más fiable.