optimizers

3 items

RESEARCHarXiv CS.LG·4/9/2026

FLeX: Fourier-based Low-rank EXpansion for multilingual transfer

Este artigo investiga a geração de código cross-lingual, focando em métodos de fine-tuning paramétrico-eficiente (PEFT) e otimizadores para LLMs. Os autores demonstram que o fine-tuning LoRA no Code Llama 7B, com um dataset pequeno de alta qualidade, pode superar o desempenho de modelos mais amplamente fine-tuned, e que otimizadores como Sophia oferecem convergência mais rápida com resultados finais comparáveis.

Cross-lingual code generation PEFT LoRA LLM Fine-tuning

RESEARCHarXiv CS.LG·5/7/2026

A Self-Attentive Meta-Optimizer with Group-Adaptive Learning Rates and Weight Decay

MetaAdamW ist ein neuer Optimierer, der einen Selbstaufmerksamkeitsmechanismus verwendet, um gruppenspezifische Lernraten und Gewichtsabnahme dynamisch anzupassen und die Begrenzung uniformer Hyperparameter zu überwinden. Das Aufmerksamkeitsmodul wird über ein Meta-Lernziel trainiert, das Gradientenausrichtung, Verlustreduzierung und Generalisierungsabstand kombiniert.

Meta-Learning deep learning learning AI Research

ARTICLEDEV.to AI·4/22/2026

Blog 2: Momentum-Based Optimizers

Der Bloginhalt behandelt momentum-basierte Optimierer und untersucht deren Funktion und Bedeutung für die Beschleunigung des Trainings von Machine-Learning-Modellen. Er beschreibt detailliert, wie diese Algorithmen die Konvergenz und Effizienz neuronaler Netze verbessern.

deep learning machine learning AI Algorithms