transformer compression

AutoCompress: Critical Layer Isolation for Efficient Transformer Compression

AutoCompress es un método de compresión de transformadores que aísla la Capa 0, considerada crítica, manteniéndola a plena dimensionalidad. Aplicado a GPT-2 Medium, logra una reducción del 59,5% en los parámetros con un rendimiento muy superior a una línea base uniforme.