heapsort
RESEARCH27

SpecTr-GBV: Multi-Draft Block Verification Accelerating Speculative Decoding

arXiv CS.CL·30 de abril de 2026

SpecTr-GBV es un nuevo método de decodificación especulativa que unifica estrategias de multi-borrador y verificación de bloques voraz para acelerar la inferencia de modelos de lenguaje. Formula el paso de verificación como un problema de transporte óptimo, mejorando tanto la eficiencia teórica como el rendimiento empírico al alcanzar la longitud de aceptación óptima.

Leer original