Este artigo propõe um método de diferença temporal Mirror-Prox induzido por comportamento, chamado STHTD-MP, para predição off-policy mais rápida. O método substitui a métrica de covariância pela parte simétrica da matriz de Bellman da política de comportamento, oferecendo uma geometria de atualização mais informativa.
Este artigo propõe o Aprendizado por Diferença Temporal Enfática Regularizada (RETD) para resolver o dilema entre estabilidade, geometria de projeção e variância no aprendizado off-policy por diferença temporal. O método regulariza a recursão de centralização auxiliar para preservar a definida positividade da matriz chave ETD e prova sua convergência.
Este artigo propõe correções auxiliares com consciência do comportamento para a previsão de diferença temporal off-policy, visando estabilizar a aprendizagem TD com aproximação de função. Ele substitui a matriz auxiliar do TDC pela matriz de Bellman de comportamento para desenvolver BA-TDC e BA-TDRC, oferecendo um modelo para o design da geometria auxiliar em aproximação de valor por redes neurais.