SignMuon: Communication-Efficient Distributed Muon Optimization

Sign-Muon est un nouvel optimiseur matriciel à 1 bit proposé pour l'entraînement distribué économe en communication de grands réseaux neuronaux. Il combine l'agrégation de signes avec un cadre de pas polaire, atteignant un taux non convexe de O(1/√T) et réduisant le terme stochastique par 1/√M pour M travailleurs.