Efficient Tuning

A Layer-wise Analysis of Supervised Fine-Tuning

Cette recherche analyse le Supervised Fine-Tuning (SFT), révélant que les capacités de suivi des instructions émergent distinctement à travers les couches : les couches intermédiaires sont stables tandis que les couches finales sont très sensibles. S'appuyant sur cette observation, les auteurs proposent le Mid-Block Efficient Tuning, qui met à jour les couches intermédiaires critiques, surpassant le LoRA standard avec une surcharge de paramètres réduite.