AI 百科搜索 /

核心概念

策略梯度

直接对参数化策略的期望回报求梯度并更新策略参数的方法族。

更新：Policy Gradient

简明解释

策略梯度（policy gradient）直接参数化 πθ(a∣s)\pi_\theta(a\mid s)。若目标明确为 J(θ)=E[G0]J(\theta)=\mathbb E[G_0]，其中 GtG_t 使用折扣 γ\gamma，一种episode型REINFORCE更新写为

θ←θ+α∑tγtGt∇θlog⁡πθ(At∣St).\theta\leftarrow\theta+\alpha\sum_t \gamma^tG_t\nabla_\theta\log\pi_\theta(A_t\mid S_t).

其中 θ\theta 为策略参数，GtG_t 为采样回报，α\alpha 为步长。目标、折扣和采样分布必须一并声明；不同算法可采用不同等价或代理目标，不能把去掉权重的式子无条件套用。这里带 γt\gamma^t 的式子以Sutton与Barto对折扣起点目标的REINFORCE推导为精确来源；Williams给出了经典似然比思想与终局强化形式，但其式（11）不是本页逐时刻折扣式的逐字来源。[1, §13.3, REINFORCE update][2, §5, eq. (11) and Theorem 2]

别和什么混淆

反向传播是计算参数梯度的通用机制；策略梯度说明应优化什么随机策略目标。纯REINFORCE使用完整采样回报，方差可能很高；减去不依赖当前动作的baseline可降方差。Actor–critic进一步用学习的价值估计构造更新信号，因此是策略梯度的一类实现结构，而不是同义词。

在本书中

见第13章13.6，并联读策略与actor–critic。

本页参考来源

  1. Sutton R S, Barto A G. Reinforcement Learning — An Introduction [M]. MIT Press, 2018. Second edition, complete draft. 定位：§13.3, especially REINFORCE update. 稳定来源（访问 ）。
  2. Williams R J. Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning [J]. Machine Learning, 8, 229–256. Machine Learning, 1992. 定位：pp. 236–238, especially §5, eq. (11) and Theorem 2. DOI；稳定来源（访问 ）。

相关概念