Rethinking KV Cache Eviction via a Unified Information-Theoretic Objective

Este trabalho reformula a remoção do cache KV para LLMs usando um objetivo de informação-teórica derivado do princípio do Gargalo da Informação. Ele apresenta o CapKV, um novo método que preserva a informação de forma consciente da capacidade, superando estratégias heurísticas existentes.