KV cache

6 items

ARTICLE↑ trendingReddit r/MachineLearning·12/4/2026

KIV: 1M token context window on a RTX 4070 (12GB VRAM), no retraining, drop-in HuggingFace cache replacement - Works with any model that uses DynamicCache [P]

KIV (K-Indexed V Materialization) es una capa de middleware que reemplaza la caché KV estándar de HuggingFace con un sistema de recuperación por niveles, moviendo datos antiguos a la RAM del sistema. Esto permite ventanas de contexto de 1 millón de tokens en una RTX 4070 (12GB VRAM) con solo 12MB de sobrecarga de VRAM y buen rendimiento.

KIV LLM optimization Context window VRAM

ARTICLE↑ trendingReddit r/LocalLLaMA·hace 18d

[llama.cpp] Asymmetric KV q8/q4 cache: current caveats and discussion in GGML repo

Este contenido aborda un desafío en llama.cpp sobre la cuantificación asimétrica del caché KV q8/q4, que puede llevar al procesamiento en CPU con CUDA. Una discusión en GitHub sugiere que compilar con una combinación específica de cuantificación de caché KV, incluso sin FA_ALL_QUANTS, ofrece un ahorro sustancial de memoria con solo una pérdida de precisión del 1,3%.

llama.cpp GPU optimization quantization KV cache

RESEARCHarXiv CS.LG·6/5/2026

eOptShrinkQ: Near-Lossless KV Cache Compression Through Optimal Spectral Denoising and Quantization

eOptShrinkQ es un pipeline de compresión de dos etapas para la caché KV en cabezas de atención de transformadores. Utiliza la contracción óptima de valores singulares y la cuantificación escalar por vector, basada en la teoría de matrices aleatorias, para lograr una compresión casi sin pérdidas y mejorar la reconstrucción.

quantization Random matrix theory AI compression KV cache

ARTICLEDEV.to AI·15/4/2026

We Gave an AI Agent a Long Context Caching Idea. Here's what happened next!

El artículo describe un experimento donde se utiliza el caché KV de un LLM (Qwen3.5-35B-A3B con 1M de tokens) como un "almacén de documentos", precargándolo una vez y persistiendo para responder consultas, eliminando embeddings y bases de datos vectoriales. El agente de ingeniería de IA, NEO, implementó autónomamente este sistema de Generación Aumentada por Caché en solo 30 minutos.

AI agent Long Context Caching KV cache

RESEARCHarXiv CS.LG·11/5/2026

LKV: End-to-End Learning of Head-wise Budgets and Token Selection for LLM KV Cache Eviction

Este artículo presenta LKV (Learned KV Eviction), un nuevo enfoque para optimizar la memoria caché de Key-Value (KV) en Large Language Models (LLMs). LKV formula la compresión de caché KV como un problema de optimización diferenciable de extremo a extremo, aprendiendo presupuestos y selección de tokens para superar las limitaciones de los métodos heurísticos.

deep learning Memory Optimization efficiency KV cache

RESEARCHarXiv CS.CL·7/4/2026

Knowledge Packs: Zero-Token Knowledge Delivery via KV Cache Injection

"Knowledge Packs" propone un método de entrega de conocimiento de "token cero" para grandes modelos de lenguaje (LLMs) mediante la inyección directa de información en la caché KV. Esta técnica busca mejorar el rendimiento de los LLM y reducir los costos de inferencia al integrar eficientemente el conocimiento externo sin consumir tokens de contexto.

Knowledge Injection machine learning AI large language models