Effective KV Compression with TurboQuant

Google a récemment lancé TurboQuant, une nouvelle suite algorithmique et bibliothèque pour appliquer une quantification et une compression avancées aux grands modèles de langage (LLM) et aux moteurs de recherche vectorielle. Cet outil est un élément indispensable des systèmes RAG.