SignMuon: Communication-Efficient Distributed Muon Optimization

Sign-Muon es un nuevo optimizador de 1 bit sensible a la matriz propuesto para el entrenamiento distribuido eficiente en comunicación de grandes redes neuronales. Combina la agregación de signos con un marco de paso polar, logrando una tasa no convexa de O(1/√T) y reduciendo el término estocástico en 1/√M para M trabajadores.