Actor–critic

简明解释

Actor–critic分两个学习角色：actor以策略 $\pi_\theta$ 选择动作，critic以 $V_w$、$Q_w$ 或优势估计评价动作。常见一步信号是

$\delta_t=R_{t+1}+\gamma(1-d_{t+1})V_w(S_{t+1})-V_w(S_t),$

其中真正终止时 $d_{t+1}=1$，否则为0。若采用第13章定义的折扣起点目标，可用 $\gamma^t\delta_t\nabla_\theta\log\pi_\theta(A_t\mid S_t)$ 更新actor；其他目标必须另行声明其采样与权重约定。$\theta$ 与 $w$ 分别为actor和critic参数。Konda与Tsitsiklis分析了critic在更快时间尺度上估计策略梯度的一类actor–critic算法。[1, §§1–3]

别和什么混淆

Critic不是人类审阅者，而是学习中的数值估计器。它可降低完整回报带来的方差，却会把价值近似偏差传给actor。Actor–critic是算法族；A2C、A3C、DDPG、PPO中的若干实现采用这种结构，但名称不等价。它也不是两个网络“对抗”的GAN。

在本书中

见第13章13.6，并联读策略梯度和TD学习。