RESEARCHarXiv CS.LG·1d atrás
WAV: Multi-Resolution Block Residual Routing for Deep Decoder-Only Transformers
O artigo apresenta o WAV v1, um método leve de roteamento residual multi-resolução para Transformers apenas com decodificador. Ele melhora as conexões residuais padrão ao aumentar cada bloco com bases de detalhe direcionais que contrastam as atualizações de atenção e MLP, e as dinâmicas de subcamadas iniciais e finais.
60