If Dense Models are better for Coding, why are Qwen-Coders MoE?

El autor cuestiona la decisión de Qwen de usar la arquitectura Mixture-of-Experts (MoE) para sus modelos de codificación, en lugar de modelos densos más precisos. Especula que la elección podría estar ligada a la velocidad de inferencia y lamenta la ausencia de un sucesor de 14B.