Parameter Efficiency Is Not Memory Efficiency: Rethinking Fine-Tuning for On-Device LLM Adaptation

Este trabajo desafía la creencia de que PEFT equivale a eficiencia de memoria para LLMs en dispositivos, mostrando que los métodos actuales pueden causar errores por falta de memoria. Introduce LARS, un nuevo marco que desvincula el consumo de memoria de la longitud de la secuencia al restringir el subespacio de activación, reduciendo la huella de memoria en un 33,54% en promedio.