optimizer

2 items

NEWS↑ trendingReddit r/MachineLearning·4/24/2026

[New Optimizer] 🌹 Rose: low VRAM, easy to use, great results, Apache 2.0 [P]

Ein neuer PyTorch-Optimierer namens 'Rose' wurde veröffentlicht, der geringen VRAM-Verbrauch, schnelle Konvergenz und exzellente Generalisierung verspricht und unter Apache 2.0 lizenziert ist. Über mehrere Jahre entwickelt, soll er benutzerfreundlich und speichereffizienter als 8-bit AdamW sein.

deep learning machine learning VRAM Optimization optimizer

NEWS↑ trendingReddit r/MachineLearning·4/26/2026

Introducing AutoMuon, a one line drop in for AdamW [P]

AutoMuon, ein neues Python-Paket, ermöglicht die nahtlose Nutzung des Muon-Optimierers als Ersatz für AdamW in PyTorch-Trainingspipelines. Es scannt das Modell, um automatisch den passenden Optimierer für jeden Parameter anzuwenden, wobei Muon für Gewichtsmatrizen und AdamW für andere Komponenten verwendet wird.

deep learning optimizer python-package PyTorch