DGX Spark

DGX Spark just arrived — planning to run vLLM + local models, looking for advice

O usuário adquiriu um DGX Spark e busca conselhos para configurá-lo para inferência local de LLM, utilizando vLLM, PyTorch e modelos Hugging Face para um backend de API privado. Ele procura recomendações de modelos eficientes, dicas de otimização para vLLM em sistemas de memória unificada e insights sobre o desempenho real do hardware.