Understanding Transformers Part 9: Stacking Self-Attention Layers

Este artigo explica por que os valores de autoatenção substituem as codificações posicionais originais, integrando informações contextuais de todas as palavras para esclarecer relações. Em seguida, introduz o empilhamento de múltiplas camadas de autoatenção, cada uma com pesos únicos, para capturar relações linguísticas mais complexas em frases e parágrafos.