In-Context Optimization for Retrieval-Augmented Generation: A Gradient-Descent Perspective

Este artigo de pesquisa explora a Geração Aumentada por Recuperação (RAG) sob a perspectiva da otimização em contexto. Ele demonstra que uma única camada de autoatenção linear pode executar um passo de gradiente descendente em um objetivo RAG linearizado unificado, revelando um regime exato onde a previsão aumentada por recuperação e a otimização em contexto se alinham.