Open-source single-GPU reproductions of Cartridges and STILL for neural KV-cache compaction [P]

Der Autor hat zwei aktuelle Ideen, Cartridges und STILL, zur neuronalen KV-Cache-Kompaktion und Langkontext-Inferenz implementiert und als Open Source veröffentlicht. Ziel ist es, diese Forschungsideen mit Benchmark-Code einfach überprüfbar und ausführbar zu machen und sie auch mit bestehenden Methoden zu vergleichen.