ReLoRA: Knowledge-Reusing Adaptation for Fast Rollout of Evolving LLM Services

L'article propose ReLoRA, un cadre de réadaptation réutilisant les connaissances pour restaurer efficacement les adaptateurs LoRA spécifiques aux tâches pour les services LLM en évolution. Cela résout les problèmes de coût de réentraînement et de dégradation de la qualité lors de l'application d'anciens adaptateurs.