Knowledge Editing

2 items

RESEARCHarXiv CS.CL·hace 26d

Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey

Este artículo investiga la eficacia de los métodos de fusión de vectores para la edición de conocimiento multilingüe (MKE) en Grandes Modelos de Lenguaje, centrándose en reducir la interferencia entre ediciones específicas de idiomas. Evaluando seis variantes de fusión con dos LLM, dos métodos de edición y 12 idiomas en el benchmark MzsRE, encuentra que la suma vectorial con covarianza compartida es la estrategia más fiable.

multilingual LLMs Natural Language Processing Vector Merging Knowledge Editing

RESEARCHarXiv CS.LG·hace 12d

One Mask to Rule Them All: On Hidden Facts after Editing and How to Find Them

Este estudio examina los mecanismos internos de métodos de edición de conocimiento como ROME y MEMIT, revelando que ediciones diversas comparten una estructura funcional común basada en un subconjunto específico de pesos. Una máscara binaria sobre estos pesos revierte la mayoría de las ediciones al eliminar la sobreatención en capas posteriores, demostrando la necesidad de este mecanismo para el éxito de las ediciones.

AI models MLP Weights machine learning Transformer Models