optimizer

2 items

NEWS↑ trendingReddit r/MachineLearning·24/04/2026

[New Optimizer] 🌹 Rose: low VRAM, easy to use, great results, Apache 2.0 [P]

Un nouvel optimiseur PyTorch nommé 'Rose' a été lancé, promettant une faible utilisation de VRAM, une convergence rapide et une excellente généralisation, sous licence Apache 2.0. Développé pendant plusieurs années, il vise à être facile à utiliser et plus économe en mémoire qu'AdamW 8 bits.

deep learning machine learning VRAM Optimization optimizer

NEWS↑ trendingReddit r/MachineLearning·26/04/2026

Introducing AutoMuon, a one line drop in for AdamW [P]

AutoMuon, un nouveau package Python, permet d'utiliser l'optimiseur Muon en remplacement direct d'AdamW dans les pipelines d'entraînement PyTorch. Il identifie et applique automatiquement l'optimiseur approprié à chaque paramètre du modèle, combinant Muon pour les matrices de poids et AdamW pour d'autres composants.

deep learning optimizer python-package PyTorch