GPU memory

96. LoRA: Fine-Tune a Billion-Parameter Model on a Laptop

L'article explique comment la technique LoRA (Low-Rank Adaptation) permet l'ajustement fin de modèles de langage à milliards de paramètres sur du matériel grand public, comme les ordinateurs portables. Au lieu de mettre à jour tous les paramètres, LoRA ajoute de minuscules modules entraînables, réduisant considérablement les exigences en mémoire GPU.