optimizers

3 items

RESEARCHarXiv CS.LG·09/04/2026

FLeX: Fourier-based Low-rank EXpansion for multilingual transfer

Este artigo investiga a geração de código cross-lingual, focando em métodos de fine-tuning paramétrico-eficiente (PEFT) e otimizadores para LLMs. Os autores demonstram que o fine-tuning LoRA no Code Llama 7B, com um dataset pequeno de alta qualidade, pode superar o desempenho de modelos mais amplamente fine-tuned, e que otimizadores como Sophia oferecem convergência mais rápida com resultados finais comparáveis.

Cross-lingual code generation PEFT LoRA LLM Fine-tuning

RESEARCHarXiv CS.LG·07/05/2026

A Self-Attentive Meta-Optimizer with Group-Adaptive Learning Rates and Weight Decay

MetaAdamW est un nouvel optimiseur qui utilise un mécanisme d'auto-attention pour ajuster dynamiquement les taux d'apprentissage et la décroissance du poids par groupe de paramètres, remédiant à la limitation des hyperparamètres uniformes. Le module d'attention est entraîné via un objectif de méta-apprentissage combinant l'alignement du gradient, la diminution de la perte et l'écart de généralisation.

Meta-Learning deep learning learning AI Research

ARTICLEDEV.to AI·22/04/2026

Blog 2: Momentum-Based Optimizers

Le contenu du blog aborde les optimiseurs basés sur l'élan, explorant leur fonction et leur importance pour accélérer l'entraînement des modèles d'apprentissage automatique. Il détaille comment ces algorithmes améliorent la convergence et l'efficacité des réseaux neuronaux.

deep learning machine learning AI Algorithms