On the Persistent Effects of Lexicality in Large Language Mod

Diese Arbeit untersucht den anhaltenden Effekt lexikalischer Überschneidungen im Gegensatz zu semantischen Inhalten auf Repräsentationen aus großen Sprachmodellen (LLMs) und deren Implikationen. Die Autoren stellen fest, dass der lexikalische Einfluss über Modelltiefe, Architekturen und Trainingsregime hinweg konsistent ist, selbst bei Modellen, die für semantische Ähnlichkeit trainiert wurden.