A Self-Attentive Meta-Optimizer with Group-Adaptive Learning Rates and Weight Decay

MetaAdamW é um novo otimizador que utiliza um mecanismo de autoatenção para ajustar dinamicamente as taxas de aprendizado e o decaimento de peso por grupo de parâmetros, superando a uniformidade de outros otimizadores. Seu módulo de atenção é treinado por um objetivo de meta-aprendizagem que integra alinhamento de gradiente, diminuição de perda e lacuna de generalização.