Speculative Decoding Implementations: EAGLE-3, Medusa-1, PARD, Draft Models, N-gram and Suffix Decoding from scratch [P]

Ein neues edukatives Implementierungs-Repository für spekulatives Decoding wurde veröffentlicht, das verschiedene Methoden wie EAGLE-3 und Medusa-1 von Grund auf implementiert, um das Studium der Unterschiede zwischen Proposer-Designs zu erleichtern. Es umfasst Trainings- und Inferenzpfade für Modelle wie Qwen/Qwen2.5-7B-Instruct und zielt darauf ab, den Unterschied zwischen Proposer-Qualität und Verifizierer-Kosten sowie die Ursache, warum eine hohe Akzeptanzrate nicht immer einen höheren Durchsatz bedeutet, zu verdeutlichen.