Q-learning

简明解释

Q-learning更新已执行的状态—动作对：

$Q(S_t,A_t)\leftarrow Q(S_t,A_t)+\alpha[R_{t+1}+\gamma\max_{a'}Q(S_{t+1},a')-Q(S_t,A_t)].$

$\alpha$ 是步长，$\gamma$ 是折扣因子；最大值使更新指向贪心目标策略，而数据可以由另一探索行为策略产生，所以它是off-policy TD控制。终止转移的后续价值取0。[1, pp. 279–286]

指定例：初始 $Q=1$、$\alpha=0.5$、$\gamma=0.9$，非终止奖励2、下一最大值4，则目标 $2+0.9\times4=5.6$，新值 $1+0.5(5.6-1)=3.3$；终止奖励5则新值 $1+0.5(5-1)=3.0$。

别和什么混淆

SARSA的目标使用实际下一动作 $Q(S_{t+1},A_{t+1})$，而非最大值。DQN是用深度网络近似Q值的一种实现，不是Q-learning定义本身。有限表格收敛定理要求持续访问、合适步长等条件，不覆盖任意函数逼近和有限日志。

在本书中

见第13章13.5，并联读TD学习。