Understanding Transformers Part 9: Stacking Self-Attention Layers

Este artículo explica por qué los valores de autoatención reemplazan las codificaciones posicionales originales, ya que integran información contextual de todas las palabras, aclarando relaciones. Luego introduce el apilamiento de múltiples capas de autoatención, cada una con pesos únicos, para capturar relaciones lingüísticas más complejas dentro de oraciones y párrafos.