MLP Weights

One Mask to Rule Them All: On Hidden Facts after Editing and How to Find Them

Este estudio examina los mecanismos internos de métodos de edición de conocimiento como ROME y MEMIT, revelando que ediciones diversas comparten una estructura funcional común basada en un subconjunto específico de pesos. Una máscara binaria sobre estos pesos revierte la mayoría de las ediciones al eliminar la sobreatención en capas posteriores, demostrando la necesidad de este mecanismo para el éxito de las ediciones.