Token Selection

The Statistics of Token Selection: Logits, Temperature, and Top-P Walkthrough

Ce contenu explique le processus de sélection des jetons dans les grands modèles de langage (LLM). Il détaille comment des critères tels que les logits, la température et le top-p influencent la cohérence et la créativité des sorties générées.