hybrid language models

Where Should LoRA Go? Component-Type Placement in Hybrid Language Models

Esta pesquisa investiga sistematicamente a colocação de LoRA em modelos de linguagem híbridos que combinam atenção e componentes recorrentes. O estudo revela que adaptar o caminho da atenção supera consistentemente a adaptação do modelo completo com menos parâmetros, e o impacto da adaptação do componente recorrente difere significativamente entre arquiteturas híbridas sequenciais e paralelas.