Unlocking Feature Learning in Gated Delta Networks at Scale

Este artículo deriva reglas de escalado para Redes Delta Gated para optimizar el entrenamiento de Large Language Models. Los experimentos confirman que las configuraciones propuestas permiten una transferencia estable de la tasa de aprendizaje en diferentes anchos de modelo.