Low-Rank Adaptation

2 items

RESEARCHarXiv CS.CL·vor 20Std

GraphLoRA: Structure-Aware Low-Rank Adaptation for Large Language Model Recommendation

GraphLoRA schlägt ein neuartiges Framework für die Empfehlung mittels großer Sprachmodelle (LLMRec) vor, das strukturelle Informationen mit textueller Semantik integriert. Dies wird durch die Einbettung eines trainierbaren Graphen-Nachrichtenübertragungsnetzwerks in den Low-Rank-Adaptationspfad erreicht, wodurch die kollaborative Topologie Parameter-Updates explizit steuern kann.

Low-Rank Adaptation Graph Neural Networks Recommendation Systems AI Research

RESEARCHarXiv CS.LG·4/15/2026

Polynomial Expansion Rank Adaptation: Enhancing Low-Rank Fine-Tuning with High-Order Interactions

Polynomial Expansion Rank Adaptation (PERA) ist eine neuartige Methode, um Low-Rank Adaptation (LoRA) für das Fine-Tuning großer Sprachmodelle zu verbessern. Sie führt eine strukturierte Polynomexpansion in den Niedrigrang-Faktorraum ein, um reichhaltigere nichtlineare Interaktionen höherer Ordnung zu modellieren, wodurch LoRAs lineare Beschränkungen überwunden werden, ohne den Rang oder die Inferenzkosten zu erhöhen.

LLMs Low-Rank Adaptation machine learning Polynomial Expansion