Dense vs. MoE gap is shrinking fast with the 3.6-27B release

Modelos de IA densos ainda superam os MoE em geral, mas os MoE estão rapidamente diminuindo a diferença, especialmente em benchmarks de codificação. Para usuários com 24GB de VRAM e necessidade de grandes janelas de contexto, o MoE está se tornando uma opção mais atraente.