Polynomial Expansion Rank Adaptation: Enhancing Low-Rank Fine-Tuning with High-Order Interactions

Polynomial Expansion Rank Adaptation (PERA) ist eine neuartige Methode, um Low-Rank Adaptation (LoRA) für das Fine-Tuning großer Sprachmodelle zu verbessern. Sie führt eine strukturierte Polynomexpansion in den Niedrigrang-Faktorraum ein, um reichhaltigere nichtlineare Interaktionen höherer Ordnung zu modellieren, wodurch LoRAs lineare Beschränkungen überwunden werden, ohne den Rang oder die Inferenzkosten zu erhöhen.