ResBM: a new transformer-based architecture for low-bandwidth pipeline-parallel training, achieving 128× activation compression [R]

Macrocosmos lançou ResBM, uma nova arquitetura de transformador para treinamento pipeline-paralelo de baixa largura de banda. Ela alcança uma compressão de ativação de 128x, mantendo a convergência sem perdas significativas.