Effective KV Compression with TurboQuant

Google ha lanzado recientemente TurboQuant, una novedosa suite algorítmica y biblioteca para aplicar cuantificación y compresión avanzadas a grandes modelos de lenguaje (LLMs) y motores de búsqueda vectorial. Esta herramienta es un elemento indispensable de los sistemas RAG.