核心概念
时序差分学习
用一步奖励加下一时刻估计形成目标、无需等待完整episode结束的价值学习方法族。
TD TD学习 temporal difference
简明解释
时序差分学习（temporal-difference learning，TD）用连续时刻预测之差来学习。TD(0)为
\delta_t=R_{t+1}+\gamma V(S_{t+1})-V(S_t).$$ $V$ 是估计值，$\alpha$ 是步长，$\gamma$ 是折扣因子，$\delta_t$ 为TD误差。它在每次转移后即可更新，并以 $V(S_{t+1})$ 这个现有估计构成目标。<a href="#ref-sutton-1988">[1, pp. 9–18]</a> ## 别和什么混淆 Monte Carlo方法通常等episode结束后使用实际回报；TD会bootstrap，即用一个估计更新另一个估计。这里的bootstrap不是统计学中的数据重采样。TD误差表示当前预测与一步目标不一致，不代表环境“犯错”。Q-learning与SARSA是TD控制方法，TD概念本身更广。 ## 在本书中 见[第13章13.5](/chapters/reinforcement-learning/)。Actor–critic也常用TD误差作为critic给actor的学习信号。