Dieser Inhalt bewertet die Leistung des quantisierten MoE-Modells Qwen 3.6 35B A3B Q4_K_M auf der CPU, unter Verwendung von Benchmarks wie HumanEval, HellaSwag und BFCL. Es erreichte 22 Tokens/Sekunde und zeigte eine starke Leistung bei Schlussfolgerungen des gesunden Menschenverstandes (74%) sowie solide Ergebnisse für ein aktives 3B MoE-Modell.
Dieser Artikel, Teil 3 einer Serie, behandelt die praktischen Herausforderungen beim Ausführen lokaler LLMs auf einem kostenlosen Oracle ARM Cloud-Server ohne GPU. Er beleuchtet Einschränkungen wie RAM, Speicherplatz und CPU-Inferenzgeschwindigkeit und schlägt einen hybriden Ansatz vor.
Der Artikel vergleicht drei verschiedene Text-to-Speech (TTS)-Engines in Pocket Studio (Pocket TTS, XTTS-v2 und Qwen3-TTS), die lokal auf einer CPU laufen. Er beschreibt ihre Kompromisse bei Geschwindigkeit, Mehrsprachigkeit und Sprachqualität, um Benutzern bei der Auswahl des passenden Modells für ihre Projektanforderungen zu helfen.