On the Persistent Effects of Lexicality in Large Language Mod

Ce travail étudie l'effet persistant du chevauchement lexical, plutôt que du contenu sémantique, sur les représentations extraites des grands modèles linguistiques (LLM) et ses implications. Les auteurs constatent que l'influence lexicale s'étend sur la profondeur des modèles, les architectures et les régimes d'entraînement, y compris pour les modèles entraînés à la similarité sémantique.