Attention Mechanisms: Stop Compressing, Start Looking Back

Este artigo explora as limitações das LSTMs na manutenção do contexto, mesmo com sua capacidade de memória aprimorada em relação às RNNs. O autor usa uma experiência pessoal de aprendizado de inglês para ilustrar os três problemas específicos que as LSTMs não resolvem, abrindo caminho para a discussão dos mecanismos de atenção.