NUMA

RAM Coffers: NUMA-Aware LLM Inference — Why Hardware Topology Still Matters

El artículo aborda cómo la topología de memoria NUMA, y no solo la VRAM, es un cuello de botella crítico para la inferencia de LLMs en servidores multi-socket, causando una degradación significativa del rendimiento. RAM Coffers de RustChain lo resuelve detectando la topología NUMA y optimizando la asignación de memoria y el anclaje de hilos para un rendimiento predecible y mejorado.