The Cognitive Categorical Transformer: Category-Theoretic Inductive Biases for Language Modeling

El Cognitive Categorical Transformer (CCT) es una arquitectura de 306M parámetros que aumenta un GPT-2 Small preentrenado con componentes derivados de la teoría de categorías e inspiraciones de la ciencia cognitiva. Logró una reducción relativa del 12% en la perplejidad en WikiText-103 en comparación con un GPT-2 Small de referencia, atribuyéndose el 84% de la mejora al paso de mensajes simplistas de GT-Full.