associative retrieval

Generic Triple-Latent Compression with Gated Associative Retrieval

Esta pesquisa introduz modelos de sequência genéricos triplo-latentes que utilizam um estado de token contínuo e memória de par comprimida para capturar interações de tokens de ordem superior. Esses modelos demonstram melhorias em benchmarks de modelos de linguagem, embora uma extensão de recuperação melhore o recall, mas seja mais lenta.