96. LoRA: Fine-Tune a Billion-Parameter Model on a Laptop

O artigo explica como a técnica LoRA (Low-Rank Adaptation) permite o ajuste fino de modelos de linguagem de bilhões de parâmetros em hardware de consumidor, como laptops. Em vez de atualizar todos os parâmetros, o LoRA adiciona pequenos módulos treináveis, reduzindo drasticamente os requisitos de memória de GPU.