If Dense Models are better for Coding, why are Qwen-Coders MoE?

Der Autor hinterfragt Qwens Entscheidung, die Mixture-of-Experts (MoE)-Architektur anstelle präziserer dichter Modelle für seine Codierungsmodelle zu nutzen. Er spekuliert, die Wahl könnte mit der Inferenzgeschwindigkeit zusammenhängen, und bedauert das Fehlen eines 14B-Nachfolgers.