LayerBoost: Layer-Aware Attention Reduction for Efficient LLMs

LayerBoost propõe uma otimização para LLMs, modificando seletivamente o mecanismo de atenção com base na sensibilidade de cada camada do transformer. Isso visa reduzir a complexidade quadrática do softmax attention, um grande gargalo para a inferência eficiente, sem comprometer significativamente a qualidade do modelo.