Neural Activation Patterns Across Language Model Architectures: A Comprehensive Analysis of Cognitive Task Performance

Este artigo apresenta uma análise abrangente dos padrões de ativação neural em seis arquiteturas distintas de modelos de linguagem grandes (LLMs), examinando seu desempenho em doze categorias de tarefas cognitivas. Os achados revelam diferenças fundamentais em como as arquiteturas de encoder e decoder processam tarefas diversas, com o raciocínio matemático gerando a maior entropia de atenção e modelos decodificadores exibindo maior esparsidade.