价值函数

简明解释

给定策略 $\pi$，状态价值为 $v_\pi(s)=\mathbb E_\pi[G_t\mid S_t=s]$；动作价值为 $q_\pi(s,a)=\mathbb E_\pi[G_t\mid S_t=s,A_t=a]$。$G_t$ 是从时间 $t$ 起的折扣回报。期望包括策略与环境的随机性。[1, §§3.3–3.5]

Bellman思想把价值拆成一步奖励和下一状态价值。例如 $v_\pi(s)=\mathbb E_\pi[R_{t+1}+\gamma v_\pi(S_{t+1})\mid S_t=s]$。这是一致性关系；动态规划、TD等算法用不同信息来求解或近似它。

别和什么混淆

奖励是一步信号，价值是未来奖励序列的条件期望。$Q$ 值单位与奖励相同，不是动作概率；softmax等规则可以把数值转成概率，但转换规则另行定义。“价值”也不表示伦理价值。

在本书中

见第13章13.4。微型确定轨迹在 $\gamma=0.9$ 下得到 $v(s_2)=5$、$v(s_1)=6.5$、$v(s_0)=4.85$。