MDP与POMDP

简明解释

有限马尔可夫决策过程（Markov decision process，MDP）在本书统一写成 $\mathcal M=(\mathcal S,\mathcal A,\mathcal R,p,\gamma)$：状态集 $\mathcal S$、动作集 $\mathcal A$、一步奖励空间 $\mathcal R$、下一状态与奖励的联合核 $p(s',r\mid s,a)$ 和折扣因子 $\gamma$。转移概率可由联合核对奖励求和得到，条件期望奖励也由同一联合核推出；策略在状态下选动作，环境按这个联合核响应。[1, §§2.1–2.3]

马尔可夫性质要求状态表示充分：给定当前状态与动作，下一结果的条件分布无需再依赖完整历史。这不表示转移确定，也不表示现实“没有过去”；若历史影响未来，就应把相关信息纳入状态。

部分可观察MDP（POMDP）增加隐藏状态、观测及观测概率。智能体不能直接知道真实状态，可用belief state——对可能状态的条件概率分布——汇总动作与观测历史，再据此决策。[2, pp. 101–109]

别和什么混淆

部分可观察、随机转移和模型未知是不同维度：MDP可以随机但状态完全可知；POMDP的模型也可能已知；model-free RL则可在MDP中不显式估计完整模型。经典规划常采用确定、完全可观察的简化设定，但不是MDP的同义词。

在本书中

见第13章13.3。第13章用 $\gamma=0.9$ 的四状态微型MDP贯通回报、价值与Q-learning；部分可观察时须把“状态”与传感器“观测”分开。