Low-Rank Adaptation

2 items

RESEARCHarXiv CS.CL·il y a 20h

GraphLoRA: Structure-Aware Low-Rank Adaptation for Large Language Model Recommendation

GraphLoRA propose un nouveau cadre pour la recommandation par grands modèles de langage (LLMRec) qui intègre les informations structurelles à la sémantique textuelle. Il y parvient en intégrant un réseau d'échange de messages graphiques entraînable dans le chemin d'adaptation de rang faible, permettant à la topologie collaborative de guider explicitement les mises à jour des paramètres.

Low-Rank Adaptation Graph Neural Networks Recommendation Systems AI Research

RESEARCHarXiv CS.LG·15/04/2026

Polynomial Expansion Rank Adaptation: Enhancing Low-Rank Fine-Tuning with High-Order Interactions

Polynomial Expansion Rank Adaptation (PERA) est une nouvelle méthode pour améliorer l'adaptation de rang faible (LoRA) dans le réglage fin des grands modèles de langage. Elle introduit une expansion polynomiale structurée dans l'espace des facteurs de rang faible pour modéliser des interactions non linéaires d'ordre supérieur, surmontant les limites linéaires de LoRA sans augmenter le rang ou le coût d'inférence.

LLMs Low-Rank Adaptation machine learning Polynomial Expansion