WAV: Multi-Resolution Block Residual Routing for Deep Decoder-Only Transformers

O artigo apresenta o WAV v1, um método leve de roteamento residual multi-resolução para Transformers apenas com decodificador. Ele melhora as conexões residuais padrão ao aumentar cada bloco com bases de detalhe direcionais que contrastam as atualizações de atenção e MLP, e as dinâmicas de subcamadas iniciais e finais.