hybrid language models

Where Should LoRA Go? Component-Type Placement in Hybrid Language Models

Esta investigación estudia sistemáticamente la colocación de LoRA en modelos de lenguaje híbridos que combinan atención y componentes recurrentes. Se encuentra que adaptar la vía de atención supera consistentemente la adaptación del modelo completo con muchos menos parámetros, y el efecto de adaptar el núcleo recurrente varía drásticamente según la arquitectura híbrida (secuencial vs. paralela).