transformer compression

AutoCompress: Critical Layer Isolation for Efficient Transformer Compression

AutoCompress est une méthode de compression de transformateurs qui isole la Couche 0, jugée critique, en la maintenant à pleine dimensionnalité. Appliquée à GPT-2 Medium, cette méthode réduit les paramètres de 59,5 % avec des performances nettement supérieures à une base de référence uniforme.