Speculative Decoding Implementations: EAGLE-3, Medusa-1, PARD, Draft Models, N-gram and Suffix Decoding from scratch [P]

Se ha lanzado un nuevo repositorio de implementación educativa para la decodificación especulativa, que implementa desde cero varios métodos como EAGLE-3 y Medusa-1 para facilitar el estudio de las diferencias en el diseño de los propositores. Incluye rutas de entrenamiento e inferencia para modelos como Qwen/Qwen2.5-7B-Instruct y busca explicitar la distinción entre la calidad del proponente y el costo del verificador, y por qué una alta tasa de aceptación no siempre implica mayor rendimiento.