optimizers

3 items

RESEARCHarXiv CS.LG·9/4/2026

FLeX: Fourier-based Low-rank EXpansion for multilingual transfer

Este artigo investiga a geração de código cross-lingual, focando em métodos de fine-tuning paramétrico-eficiente (PEFT) e otimizadores para LLMs. Os autores demonstram que o fine-tuning LoRA no Code Llama 7B, com um dataset pequeno de alta qualidade, pode superar o desempenho de modelos mais amplamente fine-tuned, e que otimizadores como Sophia oferecem convergência mais rápida com resultados finais comparáveis.

Cross-lingual code generation PEFT LoRA LLM Fine-tuning

RESEARCHarXiv CS.LG·7/5/2026

A Self-Attentive Meta-Optimizer with Group-Adaptive Learning Rates and Weight Decay

MetaAdamW es un nuevo optimizador que utiliza un mecanismo de autoatención para ajustar dinámicamente las tasas de aprendizaje y la caída de peso por grupo de parámetros, superando la limitación de los hiperparámetros uniformes. El módulo de atención se entrena mediante un objetivo de metaaprendizaje que combina la alineación de gradientes, la disminución de la pérdida y la brecha de generalización.

Meta-Learning deep learning learning AI Research

ARTICLEDEV.to AI·22/4/2026

Blog 2: Momentum-Based Optimizers

El contenido del blog trata sobre optimizadores basados en impulso, explorando su función e importancia para acelerar el entrenamiento de modelos de aprendizaje automático. Detalla cómo estos algoritmos mejoran la convergencia y la eficiencia de las redes neuronales.

deep learning machine learning AI Algorithms