Este conteúdo avalia o desempenho do modelo MoE quantizado Qwen 3.6 35B A3B Q4_K_M em CPU, utilizando benchmarks como HumanEval, HellaSwag e BFCL. Ele alcançou 22 tokens/seg, com forte desempenho em raciocínio de senso comum (74%) e resultados sólidos para um modelo MoE ativo de 3B.
Este artigo, a terceira parte de uma série, aborda os desafios práticos de executar LLMs locais em um servidor de nuvem gratuito (Oracle ARM) sem GPU. Ele explora limitações como RAM, espaço em disco e velocidade de inferência da CPU, sugerindo uma abordagem híbrida.
O artigo compara três motores de Text-to-Speech (TTS) distintos dentro do Pocket Studio (Pocket TTS, XTTS-v2 e Qwen3-TTS) que rodam localmente na CPU. Ele detalha suas compensações em termos de velocidade, suporte multilíngue e qualidade de voz para ajudar os usuários a selecionar o modelo apropriado para seus requisitos de projeto.