Understanding Transformers Part 6: Calculating Similarity Between Queries and Keys

Dieser Artikel beschreibt die Ähnlichkeitsberechnung von Queries und Keys in Transformatoren mittels Skalarprodukt und verdeutlicht, dass ein Wort sich selbst ähnlicher ist als anderen Wörtern. Diese Werte werden anschließend durch eine Softmax-Funktion in bedeutungsvolle Gewichte umgewandelt.