hybrid language models

Where Should LoRA Go? Component-Type Placement in Hybrid Language Models

Diese Forschung untersucht systematisch die Platzierung von LoRA in hybriden Sprachmodellen, die Aufmerksamkeits- und rekursive Komponenten kombinieren. Es wird festgestellt, dass die Anpassung des Aufmerksamkeits-Pfades die vollständige Modelladaption konsistent übertrifft und dabei erheblich weniger trainierbare Parameter benötigt, wobei die Anpassung des rekurrenten Rückgrats je nach Hybridarchitektur drastisch unterschiedlich wirkt.