AutoCompress: Critical Layer Isolation for Efficient Transformer Compression

AutoCompress é um método de compressão de transformadores que isola a Camada 0, considerada crucial, mantendo-a em dimensão total. Aplicado ao GPT-2 Medium, ele alcança uma redução de 59,5% nos parâmetros com um desempenho significativamente superior a um baseline uniforme.