策略

简明解释

策略（policy）规定智能体怎样选动作。对离散动作的随机策略，$\pi(a\mid s)=\Pr(A_t=a\mid S_t=s)$，并且对状态 $s$ 的可用动作有 $\sum_a\pi(a\mid s)=1$。确定性策略是每个状态把全部概率给一个动作的特例。[1, §§3.1 and 3.3]

策略可以是表格、规则或以 $\theta$ 参数化的神经网络 $\pi_\theta$。上式是完全可观察MDP的状态条件形式；在POMDP中，策略可改为以belief state、动作—观测历史或带记忆的内部表示为条件，单个观测不自动等于马尔可夫状态。价值函数总要相对于某个策略解释；换策略后，同一状态的期望未来回报通常也会变。

别和什么混淆

策略描述“智能体怎么行动”；转移模型 $p(s'\mid s,a)$ 描述“环境怎样响应”。一次实际动作只是从策略得到的一个样本，不能完整揭示随机策略。计划可包含未来动作序列，而反馈策略会随实际状态改变动作。

在本书中

见第13章13.3与13.6。策略梯度直接调整策略参数；Q-learning通常从动作价值导出贪心或探索策略。