Este contenido describe una implementación nativa de DFlash en MLX para Apple Silicon, que acelera significativamente la generación de tokens en modelos Qwen. La técnica de decodificación especulativa logra mejoras de velocidad de hasta 3.3x, manteniendo la calidad de salida idéntica.
Este contenido detalla la implementación de la Predicción Multitoken (MTP) con GGUF cuantificados para Qwen3-27B, utilizando cuantificaciones UD XL de Unsloth con capas MTP injertadas en Q8_0, lo que resulta en un aumento de rendimiento de 2,5x. El autor comparte archivos GGUF injertados, la fuente de la capa MTP y un script de conversión, junto con instrucciones de construcción para una versión personalizada de llama.cpp que incorpora soporte de decodificación especulativa de una PR no fusionada.
El contenido describe un experimento que demuestra ganancias significativas de velocidad (hasta 68.35 tokens/s) utilizando decodificación especulativa con el modelo Qwen-3.6-27B a través de llamacpp. El autor muestra la capacidad de la IA para generar y depurar código de manera eficiente.
Un usuario investiga por qué los métodos de decodificación especulativa como MTP y N-gram no pueden combinarse simultáneamente en llama.cpp, señalando que N-gram ofrece mejoras significativas para la codificación. Busca entender si es una limitación fundamental o de implementación, descubriendo que otros ya han planteado la misma pregunta.
Luce DFlash presenta un puerto GGUF de decodificación especulativa DFlash para Qwen3.6-27B, logrando casi el doble de rendimiento en una única RTX 3090. Este stack C++/CUDA independiente, disponible como proyecto de código abierto con licencia MIT, mejora significativamente el rendimiento de los LLM en hardware de consumo.
Las pruebas de decodificación especulativa utilizando Gemma 4 E2B como borrador para Gemma 4 31B mostraron una notable mejora en el rendimiento. La velocidad promedio aumentó un 29%, llegando al 50% en la generación de código, con configuraciones específicas de hardware y software.
Se ha lanzado un nuevo repositorio de implementación educativa para la decodificación especulativa, que implementa desde cero varios métodos como EAGLE-3 y Medusa-1 para facilitar el estudio de las diferencias en el diseño de los propositores. Incluye rutas de entrenamiento e inferencia para modelos como Qwen/Qwen2.5-7B-Instruct y busca explicitar la distinción entre la calidad del proponente y el costo del verificador, y por qué una alta tasa de aceptación no siempre implica mayor rendimiento.
Este artículo propone SENSE (Semantic Embedding Navigation with Soft-gated Evaluation) para mejorar la Decodificación Especulativa Basada en Recuperación (RSD) en LLMs. SENSE aborda las rígidas dependencias léxicas de RSD, utilizando alineación semántica y evaluación de puerta suave para validar la equivalencia semántica.
Este estudio evalúa la decodificación especulativa con EAGLE3 para optimizar el Agente de Comercio de PayPal, impulsado por modelos Nemotron ajustados. El análisis revela mejoras de rendimiento notables, como un aumento del 22-49% en el rendimiento y una reducción del 18-33% en la latencia sin costos de hardware adicionales.
Se ha lanzado Super Apriel, una superred de 15 mil millones de parámetros donde cada capa del decodificador ofrece cuatro opciones de mezclador entrenadas, permitiendo múltiples configuraciones de velocidad/calidad desde un único punto de control. Esto posibilita ganancias de rendimiento de decodificación de 2.9x a 10.7x con una retención de calidad del 96% al 77%, y también la decodificación especulativa sin un modelo de borrador separado.
Este contenido describe un experimento de tres meses para optimizar el rendimiento de decodificación del modelo Qwen3.6-27B en una GPU RTX 3090 Ti. El proyecto logró mejorar la velocidad de decodificación de 43 a 39-49 tokens por segundo, utilizando una nueva técnica de decodificación especulativa (MTP) en llama.cpp.
SpecTr-GBV es un nuevo método de decodificación especulativa que unifica estrategias de multi-borrador y verificación de bloques voraz para acelerar la inferencia de modelos de lenguaje. Formula el paso de verificación como un problema de transporte óptimo, mejorando tanto la eficiencia teórica como el rendimiento empírico al alcanzar la longitud de aceptación óptima.
PARSE (PArallel pRefix Speculative Engine) es un nuevo marco de generación especulativa que acelera la inferencia de modelos de lenguaje grandes (LLM). Lo logra paralelizando la verificación de prefijos a nivel semántico, superando las limitaciones existentes al evaluar la corrección en múltiples prefijos en una sola pasada.
Esta investigación evalúa la decodificación especulativa entre familias para LLMs polacos en Apple Silicon, extendiendo el framework MLX-LM con Generación Asistida Universal (UAG) para compatibilidad entre tokenizadores. Los experimentos demuestran que la traducción de tokens consciente del contexto mejora significativamente las tasas de aceptación del Bielik 11B en conjuntos de datos en polaco.
EvoSpec introduce un marco para la evolución en tiempo real de modelos preliminares en la decodificación especulativa para Grandes Modelos de Lenguaje, abordando el cuello de botella de los vocabularios grandes. Utiliza adaptación dinámica de vocabulario y parámetros, empleando un mecanismo sensible al contexto y una estrategia ligera de alineación en línea para mejorar las tasas de aceptación y minimizar las brechas distribucionales.
Aurora es un framework de RL de código abierto que mejora la decodificación especulativa, convirtiéndola en un sistema auto-mejorable. Aprende de cada solicitud, ofreciendo un rendimiento 1.25x superior a los especuladores estáticos.
AWS está optimizando la inferencia de LLMs con decodificación especulativa y lanzó el SDK Spring AI para Bedrock AgentCore. Además, nuevas investigaciones cubren fallos en sistemas agénticos, cuantificación de incertidumbre en CNNs y el papel de los LLMs en el razonamiento clínico.
Una pregunta sobre la decodificación especulativa destaca un notable aumento de velocidad del 665%. Este tema sugiere una discusión técnica sobre la optimización de modelos de IA.