Cloudflare creó Unweight, un sistema de compresión sin pérdidas que reduce los pesos de LLMs entre un 15% y un 22% para optimizar la inferencia en GPUs. Utiliza codificación Huffman para comprimir los exponentes de los pesos BF16, manteniendo salidas bit a bit exactas.
El contenido destaca la optimización de inferencia como la tendencia crítica que dará forma a la infraestructura de LLM para 2026, enfatizando su importancia sobre el tamaño del modelo. Explica que, si bien el entrenamiento es un costo único, la inferencia es un gasto continuo que impacta directamente los márgenes y la experiencia del usuario, haciendo que la eficiencia sea primordial.
Este artículo introduce una estrategia bidimensional de "early exit" para tareas de clasificación en LLMs, coordinando la salida por capa y por sentencia. El método logra ahorros computacionales multiplicativos y aceleraciones de 1.4-2.3x sobre el "early exit" por capa óptimo, aplicable a varios LLMs de última generación en tareas más simples.
Este artículo propone SENSE (Semantic Embedding Navigation with Soft-gated Evaluation) para mejorar la Decodificación Especulativa Basada en Recuperación (RSD) en LLMs. SENSE aborda las rígidas dependencias léxicas de RSD, utilizando alineación semántica y evaluación de puerta suave para validar la equivalencia semántica.
TTKV propone un marco de gestión de caché KV en niveles temporales para LLMs, inspirado en la memoria humana, para abordar la escala lineal de la memoria del caché KV. Particiona el caché en niveles con capacidad y precisión heterogéneas, asignando estados KV más recientes a niveles más rápidos y de mayor precisión.
El artículo aborda el problema común de los costes de LLM en producción que se disparan inesperadamente, explicando que la causa no es el coste directo del modelo, sino las decisiones de diseño iniciales. Un error clave identificado es usar un único y costoso endpoint de inferencia para todo tipo de solicitudes, sin optimización.
DeepSeek V4 ofrece un contexto de 1 millón de tokens que es realmente utilizable, resolviendo el problema de memoria de la GPU con una arquitectura de atención híbrida que comprime el caché KV en casi 9x. Esto lo convierte en una solución práctica para la inferencia de contexto largo, a diferencia de muchos otros modelos.
Este artículo presenta el Length Value Model (LenVM), un nuevo marco a nivel de token para modelar la longitud de generación restante en modelos autorregresivos. Al formular el modelado de la longitud como un problema de estimación de valor, LenVM proporciona una señal eficaz, sin anotaciones y escalable para LLM y VLM, mejorando el rendimiento en la coincidencia exacta de longitud.
SpecTr-GBV es un nuevo método de decodificación especulativa que unifica estrategias de multi-borrador y verificación de bloques voraz para acelerar la inferencia de modelos de lenguaje. Formula el paso de verificación como un problema de transporte óptimo, mejorando tanto la eficiencia teórica como el rendimiento empírico al alcanzar la longitud de aceptación óptima.
Este artículo presenta TRACES, un framework ligero diseñado para optimizar los Modelos de Razonamiento del Lenguaje (LRMs) etiquetando los pasos de razonamiento en tiempo real. Permite la detención temprana adaptativa y costo-eficiente de las inferencias de LRM, abordando su ineficiencia actual y la sobre-generación de pasos de verificación.
Esta investigación evalúa la decodificación especulativa entre familias para LLMs polacos en Apple Silicon, extendiendo el framework MLX-LM con Generación Asistida Universal (UAG) para compatibilidad entre tokenizadores. Los experimentos demuestran que la traducción de tokens consciente del contexto mejora significativamente las tasas de aceptación del Bielik 11B en conjuntos de datos en polaco.