Parameter-efficient fine-tuning

Aletheia: Gradient-Guided Layer Selection for Efficient LoRA Fine-Tuning Across Architectures

Aletheia presenta un método de selección de capas guiado por gradiente para el ajuste fino de LoRA, que identifica las capas más relevantes para la tarea y aplica adaptadores de forma asimétrica. Este enfoque logra una aceleración de entrenamiento del 15-28% en diversos modelos de lenguaje grandes, manteniendo el comportamiento posterior.