Exploring the Limits of Pruning: Task-Specific Neurons, Model Collapse, and Recovery in Task-Specific Large Language Models

Este estudio explora la existencia de neuronas específicas para tareas en grandes modelos de lenguaje, centrándose en el razonamiento matemático y la generación de código. Introduce una métrica de selectividad basada en activación para la poda de neuronas, que supera consistentemente la poda aleatoria en la reducción del costo computacional y el mantenimiento de la precisión de la tarea, previniendo el colapso del rendimiento.