Sleep Phase Cuts Transformer Costs by Consolidating Memory

Um novo artigo propõe uma fase de "sono" para modelos de linguagem, consolidando o contexto em memória de tamanho fixo. Isso reduz significativamente os custos de inferência e melhora o desempenho em tarefas de longo horizonte.