Este contenido evalúa el rendimiento del modelo MoE cuantificado Qwen 3.6 35B A3B Q4_K_M en CPU, utilizando benchmarks como HumanEval, HellaSwag y BFCL. Alcanzó 22 tokens/seg, mostrando un fuerte rendimiento en razonamiento de sentido común (74%) y resultados sólidos para un modelo MoE activo de 3B.
Este artículo, la Parte 3 de una serie, aborda los desafíos prácticos de ejecutar LLMs locales en un servidor en la nube gratuito (Oracle ARM) sin GPU. Cubre limitaciones como la RAM, el espacio en disco y la velocidad de inferencia de la CPU, proponiendo un enfoque híbrido para mayor practicidad.
El artículo compara tres motores distintos de Text-to-Speech (TTS) dentro de Pocket Studio (Pocket TTS, XTTS-v2 y Qwen3-TTS) que se ejecutan localmente en la CPU. Detalla sus ventajas y desventajas en términos de velocidad, soporte multilingüe y calidad de voz para ayudar a los usuarios a seleccionar el modelo apropiado para los requisitos de su proyecto.