Sleep Phase Cuts Transformer Costs by Consolidating Memory

Ein neues Papier schlägt eine "Schlafphase" für Sprachmodelle vor, die den Kontext in festgroßen Speicher konsolidiert. Dies reduziert die quadratischen Inferenzkosten und verbessert die Leistung bei Aufgaben mit langem Horizont.