Speculative decoding question, 665% speed increase

Une question concernant le décodage spéculatif met en évidence une augmentation de vitesse remarquable de 665%. Ce sujet indique une discussion technique sur l'optimisation des modèles d'IA.