optimizers

3 items

RESEARCHarXiv CS.LG·09/04/2026

FLeX: Fourier-based Low-rank EXpansion for multilingual transfer

Este artigo investiga a geração de código cross-lingual, focando em métodos de fine-tuning paramétrico-eficiente (PEFT) e otimizadores para LLMs. Os autores demonstram que o fine-tuning LoRA no Code Llama 7B, com um dataset pequeno de alta qualidade, pode superar o desempenho de modelos mais amplamente fine-tuned, e que otimizadores como Sophia oferecem convergência mais rápida com resultados finais comparáveis.

Cross-lingual code generation PEFT LoRA LLM Fine-tuning

RESEARCHarXiv CS.LG·07/05/2026

A Self-Attentive Meta-Optimizer with Group-Adaptive Learning Rates and Weight Decay

MetaAdamW é um novo otimizador que utiliza um mecanismo de autoatenção para ajustar dinamicamente as taxas de aprendizado e o decaimento de peso por grupo de parâmetros, superando a uniformidade de outros otimizadores. Seu módulo de atenção é treinado por um objetivo de meta-aprendizagem que integra alinhamento de gradiente, diminuição de perda e lacuna de generalização.

Meta-Learning deep learning learning AI Research

ARTICLEDEV.to AI·22/04/2026

Blog 2: Momentum-Based Optimizers

O conteúdo do blog aborda otimizadores baseados em momentum, explorando sua função e importância na aceleração do treinamento de modelos de aprendizado de máquina. Ele detalha como esses algoritmos melhoram a convergência e a eficiência de redes neurais.

deep learning machine learning AI Algorithms