Rethinking KV Cache Eviction via a Unified Information-Theoretic Objective

Diese Arbeit überdenkt die KV-Cache-Eviction für LLMs mittels eines informationstheoretischen Ziels, das aus dem Informationsengpassprinzip abgeleitet wurde. Sie stellt CapKV vor, eine neue kapazitätsbewusste Methode, die Informationen bewahrt und bestehende heuristische Strategien übertrifft.