Speculative decoding question, 665% speed increase

Uma questão sobre a decodificação especulativa aborda um notável aumento de velocidade de 665%. O tópico sugere uma discussão técnica sobre a otimização de modelos de IA.