RESEARCHarXiv CS.LG·21/4/2026
Matched-Learning-Rate Analysis of Attention Drift and Transfer Retention in Fine-Tuned CLIP
Este estudio analiza cómo los métodos de adaptación (Full FT vs. LoRA) y la escala de optimización influyen en la deriva de atención y la retención de transferencia en modelos CLIP ajustados. Una comparación controlada de tasas de aprendizaje revela que la tasa de aprendizaje modula fuertemente el cambio estructural, con Full FT mostrando una marcada contracción a tasas más altas, mientras que LoRA permanece con entropía positiva.
27