La tarjeta Intel Arc Pro B70 32GB alcanzó ~12 tps para consultas únicas y 135 tps con 32 concurrencias en Qwen3.5-27B@Q4, siendo un 20% menos que la RTX PRO 4500. Adicionalmente, consumió un 50% más de energía en alta concurrencia, con el paralelismo de tensor degradando y el de pipeline mejorando el rendimiento.
Este documento detalla la ejecución optimizada del modelo Qwen3.5-397B-A17B-MXFP4 utilizando vLLM en GPUs RDNA4, como 8xR9700. Incluye un Dockerfile con parches de Triton e instrucciones para descargar el modelo y lanzar el contenedor de inferencia.
Esta actualización detalla la ejecución de Qwen3.6-27B en una sola RTX 3090, logrando un contexto de ~218K y llamadas de herramientas estables a 50-66 TPS. Se resolvió un problema crítico de memoria con salidas de herramientas largas al corregir una desviación de anclaje en un parche Genesis (PN12) para vLLM.
Un nuevo propietario de DGX Spark busca consejo para configurarlo para la inferencia local de LLM, planeando usar vLLM, PyTorch y modelos de Hugging Face para un backend de API privado. Solicita recomendaciones de modelos eficientes, consejos de ajuste para vLLM en sistemas de memoria unificada y expectativas de rendimiento real.
Este conteúdo técnico explica por que VMs em nuvem prejudicam a inferência de LLMs com frameworks como vLLM e FlashAttention, citando problemas como jitter de batching e gargalos de virtualização. Argumenta-se que GPUs bare metal são cruciais para o desempenho ideal em produção, preservando otimizações e a largura de banda do NVLink.
Este contenido describe cómo optimizar, implementar y comparar modelos de lenguaje grandes (LLM) de código abierto de manera efectiva utilizando la biblioteca vLLM. Proporciona orientación práctica para mejorar el rendimiento y la eficiencia de las implementaciones de LLM.
Este artículo proporciona una guía detallada sobre cómo implementar Llama 3.2 con vLLM y procesamiento por lotes en un Droplet de DigitalOcean de bajo costo. Demuestra cómo lograr inferencia asíncrona a costos significativamente más bajos en comparación con las API de IA comerciales como Claude, procesando más de 10.000 tokens por segundo por $8/mes.
Esta guía detalla cómo implementar el modelo Nemotron-4 340B de NVIDIA con vLLM en un Droplet GPU de DigitalOcean por $24/mes. Esta configuración ofrece capacidades de razonamiento de grado empresarial, logrando una reducción de costos del 99% en comparación con el uso de la API Claude Opus para cargas de trabajo similares.
Este contenido aborda la transición de vLLM V0 a V1, centrándose en la importancia de la corrección antes que las correcciones en el aprendizaje por refuerzo. Explora principios de desarrollo y mejoras para garantizar la integridad y el rendimiento en sistemas de IA.
Este artículo detalla cómo implementar el modelo Qwen2.5 72B en un droplet de GPU de DigitalOcean por solo $20 al mes. Ofrece una alternativa de bajo costo a las APIs comerciales de LLM, prometiendo inferencia de producción con un rendimiento competitivo al de Claude 3.5 Sonnet y una reducción de costos del 98%.
Este artículo detalla cómo implementar el modelo Mistral Nemo en un Droplet de GPU de DigitalOcean de 12 $/mes, utilizando vLLM y Flash Attention. Este enfoque ofrece una inferencia 3 veces más rápida y una reducción de costos del 95 % en comparación con las API de IA comerciales como Claude, abogando por el autoalojamiento eficiente de modelos de IA de código abierto.
Este contenido detalla cómo desplegar el modelo de lenguaje Qwen2.5 32B utilizando vLLM y cuantificación en un droplet de GPU de DigitalOcean de $12/mes. Demuestra una inferencia de grado de producción a un costo significativamente menor que las API comerciales.
Las aplicaciones de voz en tiempo real, como los agentes de voz y los subtítulos en vivo, dependen de la transcripción simultánea de voz a texto. La inferencia tradicional es insuficiente, introduciendo latencia que impide la funcionalidad en tiempo real.
Este contenido explica cómo desplegar Llama 3.2 Vision con vLLM y cuantificación en un Droplet de DigitalOcean para reducir drásticamente los costos en comparación con GPT-4 Vision. Destaca la inferencia multimodal de grado de producción a una fracción del precio.