SpecTr-GBV: Multi-Draft Block Verification Accelerating Speculative Decoding

SpecTr-GBV é um novo método de decodificação especulativa que unifica estratégias multi-rascunho e verificação de bloco gulosa para acelerar a inferência de modelos de linguagem. Ele formula a etapa de verificação como um problema de transporte ótimo, melhorando a eficiência teórica e o desempenho empírico ao atingir o comprimento de aceitação ideal.