RESEARCH27
SpecTr-GBV: Multi-Draft Block Verification Accelerating Speculative Decoding
arXiv CS.CL·30 de abril de 2026
SpecTr-GBV es un nuevo método de decodificación especulativa que unifica estrategias de multi-borrador y verificación de bloques voraz para acelerar la inferencia de modelos de lenguaje. Formula el paso de verificación como un problema de transporte óptimo, mejorando tanto la eficiencia teórica como el rendimiento empírico al alcanzar la longitud de aceptación óptima.
Leer original ↗