transformer compression

AutoCompress: Critical Layer Isolation for Efficient Transformer Compression

AutoCompress ist eine Transformer-Kompressionsmethode, die Layer 0 als kritisch isoliert und in voller Dimensionalität schützt. Bei GPT-2 Medium erreicht CLI-GPT2 eine 2,47-fache Kompression und 59,5 % Parameterreduktion bei deutlich besserer Leistung als ein gleichmäßiger Baseline-Ansatz.