Vector Index Cold Start: Why Your First Query Takes 8 Seconds

Cet article traite du problème de "démarrage à froid" dans les index vectoriels pour les services RAG, où la première requête après un déploiement peut prendre plusieurs secondes en raison du chargement de l'index depuis le disque. Bien que temporaire, ce pic de latence a un impact sur l'expérience utilisateur, surtout dans les scénarios à fort trafic.