Understanding Transformers Part 8: Shared Weights in Self-Attention

L'article explique que les Transformers réutilisent le même ensemble de poids pour les requêtes, les clés et les valeurs à travers tous les mots d'entrée, permettant ainsi le calcul parallèle. Cette réutilisation rend le mécanisme d'auto-attention très efficace.