Vector Merging

Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey

Este artigo investiga a eficácia dos métodos de fusão de vetores para a edição de conhecimento multilíngue (MKE) em Grandes Modelos de Linguagem, com foco na redução da interferência entre edições específicas de idiomas. Avaliando seis variantes de fusão em dois LLMs, dois métodos de edição e 12 idiomas no benchmark MzsRE, conclui que a soma de vetores com covariância compartilhada é a estratégia mais confiável.