The Cognitive Categorical Transformer: Category-Theoretic Inductive Biases for Language Modeling

O Cognitive Categorical Transformer (CCT) é uma arquitetura de 306M parâmetros que aumenta um GPT-2 Small pré-treinado com componentes baseados na teoria das categorias e inspirações da ciência cognitiva. Ele alcançou uma redução relativa de 12% na perplexidade no WikiText-103 em comparação com um GPT-2 Small de linha de base, com 84% da melhoria atribuída à passagem de mensagens simplificadas GT-Full.