Un utilisateur exprime sa confusion sur la manière dont un modèle dense de 27 milliards de paramètres pourrait être meilleur qu'un modèle MoE de 397 milliards, en particulier concernant Qwen, et s'interroge sur l'utilité des experts supplémentaires.
Um método inovador usa os RT Cores de GPUs para roteamento de especialistas em modelos MoE, resultando em aceleração de 218x e 731x menos VRAM para essa tarefa. A pesquisa também revela que os especialistas MoE se especializam por tipo sintático, e não por tópico como se acreditava.
Cet article détaille une nouvelle stratégie de cache d'experts dynamique dans llama.cpp pour accélérer la génération de jetons sur de grands modèles MoE comme Qwen3.5-122B-A10B. L'approche charge les experts fréquemment utilisés dans la VRAM, ce qui se traduit par une génération de jetons jusqu'à 26,8% plus rapide par rapport au déchargement partiel basé sur les couches.
Le contenu annonce l'ajout du support du modèle MiMo v2.5 dans llama.cpp et décrit son architecture. MiMo v2.5 est un modèle Sparse MoE avec 310 milliards de paramètres totaux et 15 milliards activés, prenant en charge les modalités texte, image, vidéo et audio avec une longueur de contexte impressionnante.
Une nouvelle méthode permet d'enseigner de nouvelles connaissances à des modèles MoE "gelés" en orientant leur routage d'experts, sans entraînement traditionnel. Nommée Intelligence Cognitive Adaptative (ACI), cette technique a démontré la correction d'erreurs factuelles dans Gemma 4 à l'aide d'un petit fichier de configuration.
Ce contenu analyse la relation entre la taille du pool de threads du CPU dans LM Studio et la vitesse de génération de jetons (tk/s). Il se concentre spécifiquement sur les scénarios où certaines couches du modèle Mixture of Experts (MoE) sont déchargées sur le CPU pour optimiser les performances.
Le contenu détaille comment optimiser Qwen3.6-35B-A3B sur du matériel grand public (RTX 5070 Ti, Ryzen 9800X3D), atteignant 79 t/s avec 128K de contexte. La découverte majeure est l'utilisation correcte du flag `--n-cpu-moe N` dans llama.cpp, qui surpasse significativement le `--cpu-moe` commun en utilisant plus de VRAM GPU pour les experts MoE.
A Alibaba lançou recentemente os modelos Marco-Mini e Marco-Nano, variantes instrucionadas de modelos de linguagem multilingues altamente esparsos baseados em Mixture-of-Experts (MoE). O Marco-Mini, com apenas 0.86B de 17.3B parâmetros ativos, destaca-se por superar outros modelos de até 12B de parâmetros ativados em benchmarks de desempenho.
Ce contenu évalue les performances du modèle MoE quantifié Qwen 3.6 35B A3B Q4_K_M sur CPU, en utilisant des benchmarks comme HumanEval, HellaSwag et BFCL. Il a atteint 22 jetons/sec, montrant de solides performances en raisonnement de bon sens (74%) et des résultats solides pour un modèle MoE actif de 3B.
Les modèles d'IA denses surpassent actuellement les MoE dans l'ensemble, mais les MoE rattrapent rapidement leur retard, en particulier dans les benchmarks de codage. Pour les utilisateurs disposant de 24 Go de VRAM et nécessitant de grandes fenêtres de contexte, le MoE devient une option plus attrayante.
L'auteur s'interroge sur la décision de Qwen d'utiliser l'architecture Mixture-of-Experts (MoE) pour ses modèles de codage, plutôt que des modèles denses plus précis. Il spécule que ce choix pourrait être lié à la vitesse d'inférence et déplore l'absence d'un successeur 14B.
Ce contenu explore l'isolation du routage linguistique dans les modèles MoE multilingues, visant une adaptation de sous-réseau plus interprétable.
Qwen a lancé le Qwen3.6-35B-A3B, un nouveau modèle Mixture-of-Experts offrant une qualité de grand modèle à la vitesse d'un petit modèle, avec des capacités de vision. Il surpasse des modèles 10 fois plus grands sur des benchmarks de codage et excelle en raisonnement scientifique et en génération de frontend.
Le modèle dense Qwen3.6-27B a surpassé le modèle MoE Qwen3.6-35B-A3B sur SWE-bench, obtenant 77.2% contre 73.4%. Cela suggère que les modèles denses pourraient s'avérer plus efficaces pour les tâches d'ingénierie logicielle réelles.
TalkLoRA propõe um framework MoELoRA que aborda a instabilidade de roteamento e a dominância de especialistas em métodos existentes, permitindo a comunicação entre especialistas antes do roteamento. Isso é feito através de um Módulo de Conversação leve, que facilita a troca de informações, gerando um sinal de roteamento mais robusto para Large Language Models (LLMs).
HELLoRA propose une nouvelle méthode pour l'ajustement fin des modèles Mixture-of-Experts (MoE), en appliquant des modules Low-Rank Adaptation (LoRA) uniquement aux experts les plus fréquemment activés à chaque couche. Cette technique réduit considérablement les paramètres entraînables et améliore les performances, attribuant son succès à une régularisation structurée qui préserve la spécialisation pré-entraînée des experts.
MiniMax M2.7 est un modèle d'IA compétitif de 230 milliards de paramètres et Mixture-of-Experts, lancé en mars 2026. Conçu pour les flux de travail « agentic », il offre des capacités proches de celles des concurrents propriétaires. Le modèle maintient des coûts opérationnels nettement inférieurs pour les organisations qui mettent en œuvre des systèmes basés sur des agents.
Qwen3, a nova família de modelos de linguagem, foi lançada, com o modelo principal Qwen3-235B-A22B alcançando resultados competitivos em benchmarks. Modelos menores como Qwen3-30B-A3B e Qwen3-4B também demonstraram desempenho superior em comparação com outros modelos.
O conteúdo explora a importância da escalabilidade contínua de dados e modelos (densos ou Mixture-of-Expert) para aprimorar a inteligência artificial, destacando a experiência limitada da comunidade na área. Menciona que detalhes críticos de escalabilidade foram recentemente divulgados pelo DeepSeek V3 e que o Qwen2 está em desenvolvimento.
O conteúdo introduz a arquitetura Mixture-of-Experts (MoE) como uma técnica popular para escalar parâmetros de modelos. Ele descreve a camada MoE consistindo de um roteador e um grupo de experts, onde apenas um subconjunto é ativado para processar uma entrada.