Rethinking KV Cache Eviction via a Unified Information-Theoretic Objective

Este trabajo replantea la eliminación de caché KV para LLMs utilizando un objetivo de información-teórico derivado del principio del Cuello de Botella de la Información. Introduce CapKV, un nuevo método consciente de la capacidad que preserva la información, superando las estrategias heurísticas existentes.