Low-Rank Adaptation

2 items

RESEARCHarXiv CS.CL·22h atrás

GraphLoRA: Structure-Aware Low-Rank Adaptation for Large Language Model Recommendation

GraphLoRA propõe um novo framework para Recomendação com Grandes Modelos de Linguagem (LLMRec) que integra informações estruturais com semântica textual. Ele incorpora uma rede de passagem de mensagens de grafos treinável no caminho de adaptação de baixo posto, permitindo que a topologia colaborativa guie as atualizações de parâmetros.

Low-Rank Adaptation Graph Neural Networks Recommendation Systems AI Research

RESEARCHarXiv CS.LG·15/04/2026

Polynomial Expansion Rank Adaptation: Enhancing Low-Rank Fine-Tuning with High-Order Interactions

Polynomial Expansion Rank Adaptation (PERA) é um novo método para aprimorar a adaptação de baixo-rank (LoRA) na otimização de grandes modelos de linguagem. Ele introduz expansão polinomial estruturada no espaço de fatores de baixo-rank para modelar interações não lineares de ordem superior, superando as limitações lineares do LoRA sem aumentar o rank ou o custo de inferência.

LLMs Low-Rank Adaptation machine learning Polynomial Expansion