In-Context Optimization for Retrieval-Augmented Generation: A Gradient-Descent Perspective

Diese Forschungsarbeit untersucht Retrieval-Augmented Generation (RAG) aus der Perspektive der In-Context-Optimierung. Sie zeigt, dass eine einzelne lineare Selbstaufmerksamkeitsschicht einen Gradientenabstiegschritt auf einem vereinheitlichten linearisierten RAG-Ziel implementieren kann, was ein exaktes Regime offenbart, in dem abrufgestützte Vorhersage und In-Context-Optimierung zusammenfallen.