Exploring the Limits of Pruning: Task-Specific Neurons, Model Collapse, and Recovery in Task-Specific Large Language Models

Este estudo explora a existência de neurônios específicos para tarefas em grandes modelos de linguagem, focando em raciocínio matemático e geração de código. Ele introduz uma métrica de seletividade baseada em ativação para poda de neurônios, que supera a poda aleatória na redução de custos computacionais e na preservação da precisão da tarefa, prevenindo o colapso de desempenho.