Exploring the Limits of Pruning: Task-Specific Neurons, Model Collapse, and Recovery in Task-Specific Large Language Models

Cette étude explore l'existence de neurones spécifiques à des tâches dans les grands modèles de langage, notamment pour le raisonnement mathématique et la génération de code. Elle propose une métrique de sélectivité basée sur l'activation pour l'élagage des neurones, surpassant l'élagage aléatoire pour réduire les coûts de calcul et maintenir la précision, tout en prévenant l'effondrement des performances.