MXFP4

Run Qwen3.5-397B-A13B with vLLM and 8xR9700

Este documento detalha como executar o modelo Qwen3.5-397B-A17B-MXFP4 usando vLLM em GPUs RDNA4 (como 8xR9700) para um desempenho otimizado. Ele fornece um Dockerfile com patches de Triton e instruções para baixar o modelo e lançar o contêiner de inferência.