SignMuon: Communication-Efficient Distributed Muon Optimization

Sign-Muon é um novo otimizador de 1 bit, ciente da matriz, proposto para o treinamento distribuído eficiente em comunicação de grandes redes neurais. Ele combina agregação de sinal com uma estrutura de passo polar, alcançando uma taxa não convexa de O(1/√T) e reduzindo o termo estocástico em 1/√M para M trabalhadores.