In-Context Optimization for Retrieval-Augmented Generation: A Gradient-Descent Perspective

Este trabajo de investigación explora la Generación Aumentada por Recuperación (RAG) desde la perspectiva de la optimización en contexto. Demuestra que una sola capa de autoatención lineal puede ejecutar un paso de descenso de gradiente en un objetivo RAG linealizado unificado, revelando un régimen exacto donde la predicción aumentada por recuperación y la optimización en contexto coinciden.