DOC↑ trending42
Run Qwen3.5-397B-A13B with vLLM and 8xR9700
Reddit r/LocalLLaMA·11. April 2026
Dieses Dokument beschreibt die optimierte Ausführung des Qwen3.5-397B-A17B-MXFP4-Modells mittels vLLM auf RDNA4-GPUs, wie 8xR9700. Es enthält ein Dockerfile mit Triton-Patches und Anweisungen zum Herunterladen des Modells sowie zum Starten des Inferenz-Containers.
Original lesen ↗