Rethinking KV Cache Eviction via a Unified Information-Theoretic Objective

Ce travail repense l'éviction du cache KV pour les LLM via un objectif informationnel-théorique dérivé du principe du Goulot d'Information. Il présente CapKV, une nouvelle méthode consciente de la capacité qui préserve l'information, surpassant les stratégies heuristiques existantes.