Dot Product

Understanding Transformers Part 6: Calculating Similarity Between Queries and Keys

Cet article détaille le calcul de la similarité entre les requêtes (queries) et les clés (keys) dans les Transformers en utilisant le produit scalaire, montrant comment la similarité d'un mot avec lui-même est plus élevée qu'avec d'autres. Il explique que ces scores sont ensuite transformés en poids significatifs via une fonction softmax.