In-Context Optimization for Retrieval-Augmented Generation: A Gradient-Descent Perspective

Cet article de recherche explore la Génération Augmentée par Récupération (RAG) sous l'angle de l'optimisation en contexte. Il démontre qu'une seule couche d'auto-attention linéaire peut exécuter une étape de descente de gradient sur un objectif RAG linéarisé unifié, révélant un régime exact où la prédiction augmentée par récupération et l'optimisation en contexte coïncident.