Parameter-efficient fine-tuning

Aletheia: Gradient-Guided Layer Selection for Efficient LoRA Fine-Tuning Across Architectures

Aletheia introduz um método de seleção de camadas guiado por gradiente para o ajuste fino LoRA, que identifica as camadas mais relevantes para a tarefa e aplica adaptadores de forma seletiva. Isso resulta em um aumento de velocidade de treinamento de 15-28% em diversos LLMs e arquiteturas, mantendo o desempenho em benchmarks.