Layer-wise Analysis

A Layer-wise Analysis of Supervised Fine-Tuning

Esta pesquisa analisa o Supervised Fine-Tuning (SFT), revelando que as capacidades de seguir instruções emergem distintamente nas camadas: as camadas médias são estáveis, enquanto as finais são altamente sensíveis. Com base nisso, os autores propõem o Mid-Block Efficient Tuning, que atualiza camadas intermediárias críticas, superando o LoRA padrão com menor sobrecarga de parâmetros.