Understanding Transformers Part 8: Shared Weights in Self-Attention

Der Artikel erklärt, dass Transformatoren für Queries, Keys und Values denselben Satz von Gewichten über alle Eingabewörter hinweg wiederverwenden, was parallele Berechnungen ermöglicht. Diese Wiederverwendbarkeit macht den Self-Attention-Mechanismus äußerst effizient.