Neural Activation Patterns Across Language Model Architectures: A Comprehensive Analysis of Cognitive Task Performance

Dieses Papier präsentiert eine umfassende Analyse neuronaler Aktivierungsmuster in sechs verschiedenen Architekturen großer Sprachmodelle (LLM), wobei deren Leistung bei zwölf kognitiven Aufgabenkategorien untersucht wird. Die Ergebnisse offenbaren grundlegende Unterschiede in der Verarbeitung vielfältiger kognitiver Aufgaben durch Encoder- und Decoder-Architekturen, wobei mathematisches Denken die höchste Aufmerksamkeitsentropie erzeugt und Decoder-Modelle signifikant höhere Sparsity aufweisen.