Parallel Prefix Verification for Speculative Generation

PARSE (PArallel pRefix Speculative Engine) es un nuevo marco de generación especulativa que acelera la inferencia de modelos de lenguaje grandes (LLM). Lo logra paralelizando la verificación de prefijos a nivel semántico, superando las limitaciones existentes al evaluar la corrección en múltiples prefijos en una sola pasada.