Token Selection

The Statistics of Token Selection: Logits, Temperature, and Top-P Walkthrough

Dieser Inhalt erläutert den Prozess der Token-Auswahl in großen Sprachmodellen (LLMs). Er beschreibt detailliert, wie Kriterien wie Logits, Temperatur und Top-P die Kohärenz und Kreativität der generierten Ausgaben beeinflussen.