semantic representation

Semantic Structure of Feature Space in Large Language Models

Cette étude révèle que les relations géométriques entre les caractéristiques sémantiques dans les états cachés des LLMs reflètent fidèlement les associations psychologiques humaines. La recherche montre que les projections de vecteurs de mots sur des axes sémantiques se corrèlent avec les évaluations humaines, et la similarité entre ces axes prédit l'interconnexion des échelles sémantiques.