O autor compartilha resultados de otimização de um servidor de inferência com duas GPUs para LLMs, alcançando 198 tok/s com o modelo Qwen3.5-122B NVFP4. O conteúdo detalha a configuração de hardware (2x RTX PRO 6000 Blackwell) e compara o desempenho de diferentes motores e modelos de linguagem.
El artículo aborda cómo la topología de memoria NUMA, y no solo la VRAM, es un cuello de botella crítico para la inferencia de LLMs en servidores multi-socket, causando una degradación significativa del rendimiento. RAM Coffers de RustChain lo resuelve detectando la topología NUMA y optimizando la asignación de memoria y el anclaje de hilos para un rendimiento predecible y mejorado.
Este artículo introduce Group-Query Latent Attention (GQLA), una modificación de la Multi-head Latent Attention (MLA). GQLA expone dos rutas de decodificación algebraicamente equivalentes, permitiendo que un único conjunto de pesos entrenados se adapte eficientemente a diferentes plataformas de hardware como H100 y H20, sin necesidad de reentrenamiento.