The Cognitive Categorical Transformer: Category-Theoretic Inductive Biases for Language Modeling

Le Cognitive Categorical Transformer (CCT) est une architecture de 306M de paramètres qui augmente un GPT-2 Small pré-entraîné avec des composants issus de la théorie des catégories et des inspirations des sciences cognitives. Il a obtenu une réduction relative de 12% de la perplexité sur WikiText-103 par rapport à une base de référence GPT-2 Small finement ajustée, 84% de l'amélioration étant attribuée au passage de messages simpliciaux GT-Full.