O autor compartilha resultados de otimização de um servidor de inferência com duas GPUs para LLMs, alcançando 198 tok/s com o modelo Qwen3.5-122B NVFP4. O conteúdo detalha a configuração de hardware (2x RTX PRO 6000 Blackwell) e compara o desempenho de diferentes motores e modelos de linguagem.
Este contenido sugiere que los usuarios con 16GB de VRAM añadan una GPU antigua (6GB+ VRAM) para aumentar el VRAM total, permitiendo ejecutar modelos LLM más grandes (~30b) incluso con una tarjeta secundaria más débil. Incluye un ejemplo de configuración práctica para `llama-server`.
Un nuevo propietario de DGX Spark busca consejo para configurarlo para la inferencia local de LLM, planeando usar vLLM, PyTorch y modelos de Hugging Face para un backend de API privado. Solicita recomendaciones de modelos eficientes, consejos de ajuste para vLLM en sistemas de memoria unificada y expectativas de rendimiento real.
El autor explora el uso de una tarjeta AMD Alveo V80 FPGA para la inferencia de LLM, buscando aproximar el rendimiento de un chip Taalas HC1 dedicado. Tras consultar a Gemini Pro, se estimaron velocidades potenciales de 1.400-3.200 tk/s, y el autor busca la opinión de la comunidad sobre este enfoque especulativo.
El artículo aborda cómo la topología de memoria NUMA, y no solo la VRAM, es un cuello de botella crítico para la inferencia de LLMs en servidores multi-socket, causando una degradación significativa del rendimiento. RAM Coffers de RustChain lo resuelve detectando la topología NUMA y optimizando la asignación de memoria y el anclaje de hilos para un rendimiento predecible y mejorado.
Este artículo destaca el impacto financiero crítico y a menudo subestimado de la computación de IA, particularmente el uso de tokens, al implementar agentes de IA en producción. Enfatiza que los presupuestos de tokens, y no las hojas de ruta de funciones, definen los verdaderos límites operativos de un agente debido a los costos directos y gastos generales como RAG.
Esta guía aborda los desafíos de configurar Laravel Horizon para cargas de trabajo de inferencia de IA en producción, donde los valores predeterminados de los trabajos en cola fallan debido a los tiempos de procesamiento extendidos de los LLM. Explica cómo prevenir tiempos de espera silenciosos y fallos de trabajos que ocurren cuando la configuración predeterminada de Horizon no se adapta a las tareas de IA de larga duración.
Esta publicación presenta una solución de observabilidad integral que utiliza paneles de Amazon Managed Grafana. Ofrece una vista holística tanto de la calidad como de la cantidad de LLMs servidos en los endpoints de inferencia de Amazon SageMaker AI.
O artigo argumenta que o consumo de energia é o maior gargalo na inferência de LLMs, mais do que largura de banda ou VRAM, devido a limitações físicas. Isso se deve ao colapso da Lei de Dennard por volta de 2006, que impediu a redução automática do consumo de energia com o encolhimento dos transistores.
Este estudo caracteriza a sobrecarga de despacho do WebGPU para inferência de LLM em diversas plataformas de GPU, backends e navegadores. Ele revela que benchmarks simples superestimam os custos e identifica o verdadeiro custo por despacho da API WebGPU, destacando a necessidade dessa distinção para otimizações eficazes.
AWS está optimizando la inferencia de LLMs con decodificación especulativa y lanzó el SDK Spring AI para Bedrock AgentCore. Además, nuevas investigaciones cubren fallos en sistemas agénticos, cuantificación de incertidumbre en CNNs y el papel de los LLMs en el razonamiento clínico.