On the Persistent Effects of Lexicality in Large Language Mod

Este trabalho investiga o efeito da sobreposição lexical nas representações de grandes modelos de linguagem (LLMs), em vez do conteúdo semântico, e suas implicações. Os autores descobrem que a influência lexical persiste em diferentes profundidades, arquiteturas e regimes de treinamento dos modelos, mesmo naqueles treinados para similaridade semântica.