SENSE: Semantic Embedding Navigation with Soft-gated Evaluation for Retrieval-based Speculative Decoding

Este artigo propõe SENSE (Semantic Embedding Navigation with Soft-gated Evaluation) para aprimorar a Decodificação Especulativa Baseada em Recuperação (RSD) em LLMs. SENSE aborda as dependências lexicais rígidas do RSD, utilizando alinhamento semântico e avaliação soft-gated para validar equivalência semântica em vez de formas superficiais.