Knowledge Editing

2 items

RESEARCHarXiv CS.CL·26d atrás

Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey

Este artigo investiga a eficácia dos métodos de fusão de vetores para a edição de conhecimento multilíngue (MKE) em Grandes Modelos de Linguagem, com foco na redução da interferência entre edições específicas de idiomas. Avaliando seis variantes de fusão em dois LLMs, dois métodos de edição e 12 idiomas no benchmark MzsRE, conclui que a soma de vetores com covariância compartilhada é a estratégia mais confiável.

multilingual LLMs Natural Language Processing Vector Merging Knowledge Editing

RESEARCHarXiv CS.LG·12d atrás

One Mask to Rule Them All: On Hidden Facts after Editing and How to Find Them

O artigo investiga os mecanismos internos de métodos de edição de conhecimento como ROME e MEMIT, descobrindo que edições diversas partilham uma estrutura funcional comum dependente de um subconjunto específico de pesos. Uma máscara binária sobre esses pesos reverte a maioria das edições ao eliminar a superatenção em camadas posteriores, provando a necessidade desse mecanismo para o sucesso das edições.

AI models MLP Weights machine learning Transformer Models