Polynomial Expansion

Polynomial Expansion Rank Adaptation: Enhancing Low-Rank Fine-Tuning with High-Order Interactions

Polynomial Expansion Rank Adaptation (PERA) é um novo método para aprimorar a adaptação de baixo-rank (LoRA) na otimização de grandes modelos de linguagem. Ele introduz expansão polinomial estruturada no espaço de fatores de baixo-rank para modelar interações não lineares de ordem superior, superando as limitações lineares do LoRA sem aumentar o rank ou o custo de inferência.