LM Studio CPU thread pool size vs. tk/s with some MoE layers offloaded to CPU

Ce contenu analyse la relation entre la taille du pool de threads du CPU dans LM Studio et la vitesse de génération de jetons (tk/s). Il se concentre spécifiquement sur les scénarios où certaines couches du modèle Mixture of Experts (MoE) sont déchargées sur le CPU pour optimiser les performances.