Ce contenu évalue les performances du modèle MoE quantifié Qwen 3.6 35B A3B Q4_K_M sur CPU, en utilisant des benchmarks comme HumanEval, HellaSwag et BFCL. Il a atteint 22 jetons/sec, montrant de solides performances en raisonnement de bon sens (74%) et des résultats solides pour un modèle MoE actif de 3B.
Cet article, la troisième partie d'une série, aborde les défis pratiques de l'exécution de LLM locaux sur un serveur cloud Oracle ARM gratuit sans GPU. Il couvre les contraintes telles que la RAM, l'espace disque et la vitesse d'inférence du CPU, proposant une approche hybride pour la praticité.
L'article compare trois moteurs de synthèse vocale (TTS) distincts au sein de Pocket Studio (Pocket TTS, XTTS-v2 et Qwen3-TTS) fonctionnant localement sur CPU. Il détaille leurs compromis en termes de vitesse, de support multilingue et de qualité vocale pour aider les utilisateurs à choisir le modèle approprié à leurs besoins de projet.