NUMA

RAM Coffers: NUMA-Aware LLM Inference — Why Hardware Topology Still Matters

O artigo discute como a topologia de memória NUMA, e não apenas a VRAM, é um gargalo crítico para a inferência de LLMs em servidores multi-socket, causando degradação significativa na taxa de transferência. RAM Coffers da RustChain resolve isso detectando a topologia NUMA e otimizando a alocação de memória e o pinning de threads para desempenho previsível e aprimorado.