EvoSpec: Evolving Speculative Decoding via Real-Time Vocabulary and Parameter AdaptationTarget

EvoSpec introduz uma estrutura para a evolução em tempo real de modelos de rascunho na decodificação especulativa para Grandes Modelos de Linguagem, abordando o gargalo de vocabulários grandes. Ele utiliza adaptação dinâmica de vocabulário e parâmetros, empregando um mecanismo sensível ao contexto e uma estratégia leve de alinhamento online para melhorar as taxas de aceitação e minimizar as lacunas distribucionais.