Esta investigación propone "program-of-layers (PoLar)" para LLMs, que permite omitir o repetir dinámicamente capas preentrenadas durante la inferencia para lograr una precisión igual o mejor con rutas de ejecución más cortas. Se propone una red de predicción ligera para generar estos programas personalizados, mostrando un rendimiento mejorado en pruebas de razonamiento matemático.
El usuario optimiza un modelo Transformer para tamaño y velocidad de inferencia, pero ha alcanzado una meseta tras FP16 y ONNX, sin ganancias significativas con poda u optimizaciones de grafo. Busca orientación sobre siguientes pasos como factorización de bajo rango, cuantificación agresiva o destilación de conocimiento para mejoras reales.
POEM (Process Of Elimination Master) es una nueva arquitectura de IA que responde preguntas eliminando progresivamente imposibilidades en lugar de generar posibilidades, operando independientemente de los LLM. Logra un 88% de precisión, es 95.5 veces más rápido y 100 veces más pequeño que TinyLlama 1.1B, demostrando una eficiencia computacional significativa.
DeepSeek ha reducido drásticamente los costos de inferencia de IA, bajándolos a solo unos centavos. Este desarrollo hace que la tecnología de IA sea más accesible y económicamente viable para una gama más amplia de aplicaciones.
El contenido detalla el rendimiento del modelo Qwen 3.6 35B A3B, alcanzando 187 tokens por segundo en una GPU RTX 5090 de 32GB. Destaca el soporte para un tamaño de contexto de 120K, utilizando cuantificación Q5 K S y una temperatura de 0.1.
Skymizer Taiwan Inc. ha presentado una arquitectura innovadora, la tarjeta HTX301, que permite la inferencia de LLMs de 700B parámetros en una sola tarjeta PCIe con 384GB de memoria y bajo consumo (~240W). Este enfoque descarga la decodificación a la HTX301 mientras las GPUs manejan el prellenado, haciendo posible la inferencia de LLMs ultragrandes localmente sin necesidad de VRAM masiva en GPUs.
Un usuario notó que la cuantificación INT8 en su modelo de aprendizaje profundo resultó en una mejor precisión de inferencia que FP16, lo cual fue inesperado. Busca explicaciones para el rendimiento superior de INT8 sobre FP16.
Este artículo extiende la dirección de rechazo a los Modelos de Lenguaje Grandes de Mezcla de Expertos (LLMs MoE), descubriendo que el rendimiento de la dirección no se ve inhibido por la arquitectura MoE. Propone métodos de dirección de rechazo conscientes de los expertos, mostrando que el comportamiento de rechazo puede ser dirigido eficazmente basándose en la salida de un solo experto.
Google ha lanzado una nueva línea de chips de IA, denominados "Triton X", para desafiar el dominio de Nvidia, prometiendo una reducción del 40% en los costos de entrenamiento y una latencia de inferencia un 25% menor. Este lanzamiento marca un cambio sísmico en la industria del hardware de IA, intensificando la competencia.
Este artículo subraya la práctica común de los equipos de pagar en exceso por la inferencia de LLMs debido a la falta de evaluación comparativa adecuada, eligiendo modelos basados en la popularidad en lugar de la eficiencia de costos. El autor, utilizando una herramienta llamada CostGuard, realizó 163 pruebas comparativas en 15 modelos, revelando diferencias de precio sorprendentes de hasta 200 veces entre modelos como Gemini 2.5 Flash y GPT-5.
Esta investigación revela que el caché KV en la inferencia autorregresiva de transformadores, bajo precisión FP16 estándar, provoca una divergencia sistemática en las secuencias de tokens decodificadas debido a diferentes órdenes de acumulación de punto flotante. Se observó una tasa de divergencia del 100% en modelos como LLaMA-2-7B y Mistral-7B, con el caché-ON a menudo resultando en mayor precisión.
Tres startups de infraestructura de inferencia de IA están recaudando colectivamente más de 30 mil millones de dólares, mostrando un rápido crecimiento en un sector que apenas existía hace 18 meses. Empresas como Baseten, Fireworks AI y Modal Labs están alcanzando valoraciones multimillonarias a pesar de los recientes hitos de ingresos.
Un desarrollador creó un motor de inferencia CUDA personalizado para ejecutar con éxito el gran modelo de lenguaje Qwen3.5-27B en tarjetas gráficas de minería de bajo costo. Este enfoque innovador demuestra una optimización de hardware significativa, haciendo que los modelos de IA potentes sean más accesibles en hardware de consumo asequible.
Este artículo detalla cómo un equipo redujo significativamente sus costos de inferencia de LLM en un 40%, mientras manejaba cinco veces más solicitudes. La solución implicó reconstruir su arquitectura con una capa proxy ligera para normalizar las solicitudes a un formato compatible con OpenAI, permitiendo el uso flexible de varios proveedores de alto rendimiento.
Esta guía detalla el despliegue de Mistral 7B con vLLM y KServe en un Droplet GPU de DigitalOcean de $10/mes, permitiendo inferencia lista para producción a un costo drásticamente reducido. Esta solución ofrece un ahorro del 95% en comparación con las API de IA comerciales, asegurando alta concurrencia y baja latencia.
Este artículo aboga por el enrutamiento inteligente de solicitudes LLM para optimizar costos y rendimiento en producción. Sugiere dirigir el 76% de las solicitudes a modelos más baratos y rápidos, reservando modelos de frontera como GPT-4 para el 24% de tareas complejas que realmente los requieren.
Este contenido explica cómo desplegar Llama 3.2 70B con TensorRT-LLM en un Droplet de GPU de DigitalOcean de $48/mes, logrando una inferencia 3 veces más rápida que vLLM. Destaca ahorros de costos significativos y mejoras de rendimiento para chatbots de producción en comparación con los costos de la API de OpenAI.
Este artículo presenta la "Ronda 2 del Enfrentamiento de Modelos", introduciendo nuevos modelos como Gemma 4 de Google y Kimi K2 de Moonshot AI, y reevaluando modelos anteriores con configuraciones corregidas. Los benchmarks actualizados revelaron cambios significativos en la clasificación, abordando problemas como límites de tokens e interpretación de comandos de la ronda inicial.
O trabalho propõe $S^3$ (Stratified Scaling Search), um método de busca guiado por verificador para melhorar a qualidade de geração em modelos de linguagem de difusão durante o tempo de inferência. Ele realoca a computação no processo de denoising, avaliando e reamostrando seletivamente candidatos promissores para favorecer saídas de maior qualidade.
PARSE (PArallel pRefix Speculative Engine) es un nuevo marco de generación especulativa que acelera la inferencia de modelos de lenguaje grandes (LLM). Lo logra paralelizando la verificación de prefijos a nivel semántico, superando las limitaciones existentes al evaluar la corrección en múltiples prefijos en una sola pasada.