LANTERN: Layered Archival and Temporal Episodic Retrieval Network for Long-Context LLM Conversations

LANTERN ist eine leichte Speicherschicht für LLMs, die Gesprächsrunden archiviert und relevante Details nach Kontextkompaktierung mittels hybrider Abfrage wiederherstellt. Es stellt 78,3 % der durch Kompaktierung verlorenen Fakten wieder her und übertrifft LLM-gesteuerte Ansätze bei deutlich geringeren Inferenzkosten und null LLM-Aufrufen.