Low-Rank Adaptation

2 items

RESEARCHarXiv CS.CL·hace 23h

GraphLoRA: Structure-Aware Low-Rank Adaptation for Large Language Model Recommendation

GraphLoRA propone un nuevo marco para la Recomendación con Grandes Modelos de Lenguaje (LLMRec) que integra información estructural con semántica textual. Para ello, incrusta una red de paso de mensajes de grafos entrenable dentro de la vía de adaptación de bajo rango, permitiendo que la topología colaborativa guíe explícitamente las actualizaciones de los parámetros.

Low-Rank Adaptation Graph Neural Networks Recommendation Systems AI Research

RESEARCHarXiv CS.LG·15/4/2026

Polynomial Expansion Rank Adaptation: Enhancing Low-Rank Fine-Tuning with High-Order Interactions

Polynomial Expansion Rank Adaptation (PERA) es un método novedoso para mejorar la adaptación de bajo rango (LoRA) en el ajuste fino de grandes modelos de lenguaje. Introduce una expansión polinomial estructurada en el espacio de factores de bajo rango para modelar interacciones no lineales de orden superior más ricas, superando las limitaciones lineales de LoRA sin aumentar el rango ni el coste de inferencia.

LLMs Low-Rank Adaptation machine learning Polynomial Expansion