If Dense Models are better for Coding, why are Qwen-Coders MoE?

O autor questiona a decisão da Qwen de usar a arquitetura Mixture-of-Experts (MoE) para seus modelos de codificação, como o 30B MoE e 80B A3B, em vez de modelos densos que mostram precisão em tarefas similares. Ele especula se a escolha estaria ligada à velocidade de inferência e lamenta a ausência de um sucessor 14B.