On the Persistent Effects of Lexicality in Large Language Mod

Este trabajo investiga el efecto persistente de la superposición léxica, en lugar del contenido semántico, en las representaciones extraídas de grandes modelos de lenguaje (LLMs) y sus implicaciones. Los autores encuentran que la influencia léxica se extiende a través de la profundidad de los modelos, arquitecturas y regímenes de entrenamiento, incluso en modelos entrenados para similitud semántica.