Dot Product

Understanding Transformers Part 6: Calculating Similarity Between Queries and Keys

Este artigo detalha o cálculo da similaridade entre consultas (queries) e chaves (keys) em Transformers utilizando o produto escalar, demonstrando como a similaridade de uma palavra consigo mesma é maior do que com outras. Ele explica que essas pontuações são posteriormente transformadas em pesos significativos através de uma função softmax.