Speculative Decoding Implementations: EAGLE-3, Medusa-1, PARD, Draft Models, N-gram and Suffix Decoding from scratch [P]

Un nouveau dépôt éducatif a été lancé pour implémenter de zéro diverses méthodes de décodage spéculatif, telles qu'EAGLE-3 et Medusa-1, afin de faciliter l'étude des différences entre les conceptions de proposeurs. Il inclut des chemins d'entraînement et d'inférence pour des modèles comme Qwen/Qwen2.5-7B-Instruct et vise à expliciter la distinction entre la qualité du proposeur et le coût du vérificateur, et pourquoi un taux d'acceptation élevé n'implique pas toujours un débit plus élevé.