强化学习

简明解释

强化学习（reinforcement learning，RL）研究智能体如何在环境中连续选择动作，使期望累计奖励增大。动作会影响下一状态和以后可收集的数据，奖励又可能延迟，所以它不同于在固定输入—标签对上拟合答案的监督学习。[1, §§1.1–1.4]

基本交互是 $S_t\xrightarrow{A_t}(R_{t+1},S_{t+1})$：$S_t$ 为状态，$A_t$ 为动作，$R_{t+1}$ 为动作后收到的奖励。奖励是任务接口中的标量，不会自动包含安全、公平或人的全部意图。

别和什么混淆

“强化”不表示把同一训练多做几次，也不保证每次探索都安全。模仿学习主要复制示范行为；RL按奖励评价后果。二者可以组合但信号不同。在线学习只表示数据逐步到来，也不必具有动作改变环境的闭环。

在本书中

见第13章：强化学习，并联读策略、价值函数与探索—利用。