Policy Entropy

A Comparative Theoretical Analysis of Entropy Control Methods in Reinforcement Learning

Este artículo presenta un análisis teórico comparativo de estrategias de control de entropía en Aprendizaje por Refuerzo, enfocándose en la regularización tradicional versus un mecanismo basado en covarianza para el entrenamiento de LLMs. Establece un marco unificado, mostrando que los métodos basados en covarianza logran una imparcialidad asintótica al regularizar selectivamente, a diferencia de los métodos tradicionales que introducen un sesgo persistente.