SignMuon: Communication-Efficient Distributed Muon Optimization

Sign-Muon ist ein neuer 1-Bit-Matrix-bewusster Optimierer, der für das kommunikationseffiziente verteilte Training großer neuronaler Netze vorgeschlagen wird. Er kombiniert die Zeichenaggregation mit einem Polarschritt-Framework, erreicht eine nicht-konvexe Rate von O(1/√T) und reduziert den stochastischen Term um 1/√M für M Arbeiter.