Parallel Prefix Verification for Speculative Generation

PARSE (PArallel pRefix Speculative Engine) est un nouveau cadre de génération spéculative qui accélère l'inférence des grands modèles linguistiques (LLM). Il y parvient en parallélisant la vérification des préfixes au niveau sémantique, surmontant les limitations existantes en évaluant la correction sur plusieurs préfixes en une seule passe.