强化学习：在行动与反馈中学习

导读：奖励是计分规则，不是价值观

强化学习（reinforcement learning，RL）研究智能体怎样在与环境持续交互时选择动作，以使一段时间内的累计奖励尽可能大。它的核心不是给每个输入一张标准答案，而是：动作会改变随后看到的数据；奖励可能延迟；同一状态下还必须在尝试未知动作与采用已知好动作之间取舍。[1, §§1.1–1.4]

这里的“奖励”只是环境在接口中给出的标量。算法优化的是这个数及其长期组合，而不会自动理解设计者没有编码进去的安全、公平、舒适或社会价值。高奖励只证明对所给计分规则表现好；奖励错置时，优化得越有效，偏差也可能越明显。[2, §§2 and 4]

13.1 智能体—环境循环：数据由行动共同产生

在离散时间步 $t=0,1,2,\ldots$，智能体收到状态或观测 $S_t$，依策略选择动作 $A_t$；环境随后给出奖励 $R_{t+1}$ 和下一状态 $S_{t+1}$。本章采用教材常见索引：动作 $A_t$ 之后收到的奖励叫 $R_{t+1}$。一次交互写成

• **智能体（agent）**是做决策的一方；**环境（environment）**是智能体边界外、响应动作的一切。
• **状态（state）**应包含预测未来所需的信息；摄像头图像等直接信号更谨慎地称观测。状态不可完全得知时可用POMDP建模。
• **动作（action）**属于允许的动作空间，不必是物理动作，也可以是推荐、报价或资源分配。
• **奖励（reward）**是一步反馈；它不同于回报，也不同于监督学习标签。
• **轨迹（trajectory）**是 $\tau=(S_0,A_0,R_1,S_1,A_1,R_2,\ldots)$。episode在终止状态结束；continuing task没有天然终点。[1, §§3.1–3.3]

监督学习常在固定样本 $(x_i,y_i)$ 上拟合目标；RL的策略会改变访问哪些状态，因而训练分布依赖当前行为。模仿学习可从示范动作学习，bandit描述每次选择的奖励，却没有由动作控制、还会影响以后回报的状态转移（反馈本身仍可能延迟）；完整RL则处理状态转移与长期后果。经典规划通常假定目标与转移模型已给定，再计算行动序列；搜索枚举或采样候选路径/博弈树，本身不等于从奖励经验中学习。现代系统可以组合学习、规划和搜索（AlphaGo就是一例），不能把其中任何一个词当作其余词的别名。

窄屏可横向滚动查看全图。

13.2 奖励、回报与信用分配

从时间 $t$ 起的折扣回报定义为

$G_t$ 是回报，$R_{t+k+1}$ 是未来一步奖励，$\gamma$ 是折扣因子。对无限时域，若奖励绝对值有界且 $0\le\gamma<1$，级数绝对收敛；有限episode可允许 $\gamma=1$，但须保证总回报定义良好。$\gamma=0$ 只看下一奖励；$\gamma$ 越接近1，越重视较远奖励，但“0.9代表九成耐心”不是严格解释。[1, §§3.3–3.5]

同一条微型轨迹：$\gamma=0.9$，奖励 $[-1,2,5]$

设一条三步episode的奖励依次为 $R_1=-1,R_2=2,R_3=5$，在 $R_3$ 后终止，统一取 $\gamma=0.9$。从三个决策点倒算：

因此即时的 $-1$ 并不表示第一个动作长期一定差；后续结果使整段折扣回报仍为4.85。反过来，一个即时正奖励也可能通向更差未来。把延迟结果归因给先前哪些动作，就是**信用分配（credit assignment）**问题。

13.3 MDP：先写清问题，再谈算法

有限马尔可夫决策过程（Markov decision process，MDP）可写作五元组

$\mathcal S$ 是状态集合，$\mathcal A$ 是动作集合，$\mathcal R$ 是一步奖励的取值空间；本章把环境动力学统一定义为联合核 $p(s',r\mid s,a)=\Pr(S_{t+1}=s',R_{t+1}=r\mid S_t=s,A_t=a)$；$\gamma$ 如上。由它可边缘化得 $p(s'\mid s,a)=\sum_r p(s',r\mid s,a)$，也可在分母非零时得到条件期望奖励 $\bar r(s,a,s')=\sum_r r\,p(s',r\mid s,a)/p(s'\mid s,a)$；后两者是派生量，不另换一套原语。连续奖励时相应求和换成积分。马尔可夫性质说，在状态表示充分时，给定当前 $(S_t,A_t)$ 后，下一状态与奖励的条件分布不再需要完整历史。它不是说“未来确定”，也不是说现实本身没有记忆。[1, §§3.1–3.5]

策略（policy）给出选择动作的规则。随机策略

其中 $\mathcal A(s)$ 是状态 $s$ 可用动作集。确定性策略是其特例。策略是“如何行动”，联合环境核 $p$ 是“环境怎样响应”；model-based RL使用给定或学到的转移/奖励模型做预测或规划，模型并不必然精确或预先给定；model-free方法不显式构造完整 $p,r$，而直接学习价值或策略，也不等于没有状态、奖励或任何假设。

一个与后文统一数字的小MDP

令状态为 $s_0,s_1,s_2,T$，$T$ 为终止状态；选定策略走确定路径：

这正是式（13-3）至（13-4）的轨迹。表格只列实际采取的动作；若每个状态还有其他动作，其概率、奖励和结果也必须写进完整MDP，不能从一条轨迹反推出。

13.4 价值函数与Bellman递推

给定策略 $\pi$，状态价值函数与动作价值函数分别是

期望同时涵盖策略随机性和环境随机性。$v_\pi$ 评价在 $s$ 后遵循 $\pi$；$q_\pi$ 固定第一步动作 $a$ 后再遵循 $\pi$。价值不是状态固有属性，更不是伦理价值。

把回报拆成一步奖励加剩余回报，得到Bellman期望方程：

这里 $p(s',r\mid s,a)$ 是下一状态与奖励的联合概率；终止状态约定 $v_\pi(T)=0$。Bellman方程不是某一个算法，而是价值的自洽递推关系。最优动作价值满足

$a'$ 遍历 $s'$ 可用动作；若 $s'$ 为终止状态，整个bootstrap项约定为0，不对空动作集取最大值。已知模型时可用动态规划做期望备份；模型未知时可用采样近似。[1, §§3.5 and 4.1]

在上面确定路径中，没有其他动作且终止价值为0，所以 $v_\pi(s_2)=5$、$v_\pi(s_1)=2+0.9\times5=6.5$、$v_\pi(s_0)=-1+0.9\times6.5=4.85$，与逐项回报完全一致。动态规划在已知有限模型时反复做完整期望备份，可进行策略评估、策略改进或价值迭代；它避免抽样噪声，却要枚举转移，模型大或未知时并不便宜。

13.5 Monte Carlo、TD与Q-learning：目标从哪里来

Monte Carlo方法等待episode结束，再用实际回报 $G_t$ 更新；时序差分学习（temporal-difference learning，TD）不用等到终点，而以当前的一步奖励加下一状态估计作为目标。最基本TD(0)更新为

$V$ 是学习中的价值估计，$\alpha\in(0,1]$ 是步长，$\delta_t$ 是TD误差。用尚未完全真实的估计 $V(S_{t+1})$ 更新另一个估计称为bootstrap；这能在线更新，也会引入偏差与不稳定来源。原始TD论文从连续预测问题推导了这类差分更新。[3, pp. 9–18]

Q-learning是off-policy TD控制方法：行为策略负责收集转移，更新目标却对下一状态取最大动作价值，指向贪心目标策略：

$Q(s,a)$ 是当前动作价值估计。对终止转移没有下一动作，约定后续项为0。表格型Q-learning在有限离散MDP中有收敛定理，但要求每个状态—动作对持续被采样、步长满足条件等；函数逼近、有限数据或持续变化环境不能直接继承该保证。[4, pp. 279–286, eq. (2) and Theorem]

按指定数字复算两次更新

被更新的表项在这一学习快照中为 $Q(S_t,A_t)=1$，$\alpha=0.5,\gamma=0.9$。下一状态 $s_2$ 的完整可用动作集是 $\{a_2,\mathrm{safe},\mathrm{greedy}\}$，对应快照值分别为 $3,2,4$；所以可由表内数据独立推出 $\max_{a\in\mathcal A(s_2)}Q(s_2,a)=4$。先看这条非终止样本：当前奖励为2。目标是

所以

这里目标5.6不是完整episode回报6.5，因为下一状态的最大 $Q$ 当前只有4；随着估计变化，bootstrap目标也变化。再看终止样本，奖励为5，没有下一状态价值：

不能在终止更新中再加 $0.9\max Q$。注意式（13-12）与微型轨迹的第二步共享“奖励2”，但它额外指定“下一最大估计4”；这是一条学习时快照，不宣称4已经等于真实终局回报5。

SARSA把下一步实际依行为策略选择的 $A_{t+1}$ 放进目标：$R_{t+1}+\gamma Q(S_{t+1},A_{t+1})$，因此是on-policy。若同一样本中探索策略选到价值2的动作，其目标为 $2+0.9\times2=3.8$，TD误差为2.8，更新后为 $1+0.5\times2.8=2.4$；Q-learning仍以最大值4得到3.3。这个差别不是名字游戏：SARSA把当前探索行为的后果纳入评价，Q-learning则学习贪心目标策略。

窄屏可横向滚动查看全图。

深度Q网络（DQN）用神经网络近似 $Q$，并以经验回放与目标网络降低相邻样本和移动目标造成的不稳定；2015论文在固定Atari 2600协议上报告结果。它展示了像素到离散动作控制，不证明Q-learning对任意连续现实系统都有同样样本效率或稳定性。[5, pp. 529–533 and Methods]

13.6 策略梯度与actor–critic

是什么？ 值方法通常先估计 $Q$ 再取最大动作；策略梯度直接参数化 $\pi_\theta(a\mid s)$ 并沿期望回报的梯度调参数。为何出现？ 当策略需要保持随机、动作连续，或对庞大动作集逐项求 $\arg\max_a Q(s,a)$ 不现实，直接优化策略提供了另一条路。怎样工作？ 对本章的折扣起点目标 $J(\theta):=\mathbb E_{\pi_\theta}[G_0]$，REINFORCE的一次episode估计可写为

$\theta$ 是策略参数；$\nabla_\theta$ 对参数求梯度；$G_t$ 为采样回报。在环境动力学不依赖 $\theta$、可交换梯度与期望等常规条件下，这是相应梯度的Monte Carlo估计；式（13-14）及其 $\gamma^t$ 权重精确对应Sutton与Barto对折扣起点目标的REINFORCE推导。Williams给出REINFORCE的经典似然比思想与终局强化形式，但其式（11）不是这里逐时刻折扣式的逐字来源。[1, §13.3, especially REINFORCE update][6, §5, eq. (11) and Theorem 2]

能做什么？ 它能学习随机或连续动作策略，并可与神经网络组合；不能做什么？ 它不保证全局最优、样本高效、安全探索或在分布外可靠，也不能凭一个高回报样本证明因果效果。估计方差可很大；减去不依赖当前动作的baseline可降方差而不改变相应期望。

一次可复算的数值策略更新

取只有一个非终止状态、动作为“左/右”的小环境。策略是两logit softmax，动作顺序为“左、右”，更新前 $\theta=[0,0]$，故 $\pi=[0.5,0.5]$。本episode采到“右”并立即终止，$G_0=2$；对softmax有 $\nabla_\theta\log\pi(\mathrm{right})=[-0.5,0.5]$，所以单样本梯度为 $2[-0.5,0.5]=[-1,1]$。取 $\alpha=0.1$：

“右”的概率从0.5升到0.549833997；logit、概率、score梯度、更新前后值均写入同一JSON夹具，可不导入生成器独立复算。它只演示一次随机梯度步，不表示下一步一定仍向同方向更新。

Actor–critic把角色分开：actor是策略 $\pi_\theta$，负责行动；critic学习 $V_w$ 或 $Q_w$，用TD误差评价actor的动作。例如

$d_{t+1}$ 在真正终止时为1，否则为0；时间上限截断未必等于任务终止，须按问题另行处理。$w$ 是critic参数，$\alpha_\theta$ 是actor步长；$\gamma^t$ 与上面定义的折扣起点目标一致，其他目标或采样分布可能采用不同权重。critic降低纯Monte Carlo回报的方差，却可能把自己的近似偏差传给actor。Actor–critic是一类架构，不等于某个固定实现，也不等于PPO；Konda与Tsitsiklis分析的是critic以更快时间尺度估计策略梯度的一类算法。[7, §§1–3]

13.7 探索—利用：未知动作没有免费答案

探索—利用权衡是：利用当前估计最好的动作取得回报，探索其他动作以改进知识。只利用可能永远错过更优动作；无休止随机探索又浪费回报，现实中还可能造成伤害。

对离散动作，$\varepsilon$-greedy以概率 $1-\varepsilon$ 选当前贪心动作，以概率 $\varepsilon$ 从动作集中随机选（具体实现须说明贪心动作是否也可能在随机分支再被选中）。若随机分支在 $|\mathcal A(s)|$ 个动作上均匀，则非贪心动作各获 $\varepsilon/|\mathcal A(s)|$ 概率。它简单但不利用不确定度。softmax探索按估计值平滑分配概率；上置信界使用置信上界；Thompson sampling从未知参数的后验抽样后按样本最优动作行动；“内在奖励”则是把新奇度或预测误差等信号加入更一般RL探索，不能把它冒充bandit后验采样的同义词。不存在脱离环境、安全约束与预算的“最佳探索率”。[1, §§2.2–2.7][8, §§2–3, Algorithm 1][9, §2, eqs. (1)–(2)]

On-policy方法评价或改进产生数据的策略；off-policy方法可从行为策略 $b$ 的数据学习另一目标策略 $\pi$。off-policy能力让旧日志和探索策略有用，但动作覆盖不足会使重要区域不可识别；重要性采样还可能有高方差。

13.8 离线RL、仿真到现实与奖励投机

离线RL不是“拿一份日志就安全学习”

离线RL只从固定数据集学习，不在训练时继续与环境交互。优点是避免训练阶段主动试错，适合交互昂贵或危险的领域；关键困难是分布外动作：数据没覆盖的动作，其价值估计可能被函数逼近错误地抬高，策略又会专门选择这些错误。可靠方案通常约束策略接近数据支持、保守估值，并进行覆盖、敏感性与独立部署评估。日志中的混杂、选择偏差和缺少某动作结果不能仅靠“强化”二字消失。[10, §§1–3 and 5–7]

仿真到现实：随机化不是现实证明

仿真能快速、可复位地收集数据，却总有sim-to-real gap：动力学、传感器、接触、延迟和人类行为可能与现实不同。动力学随机化在训练时改变质量、摩擦等模拟参数，使策略面对一族环境；Peng等在机器人操控实验中展示了这种迁移路线。它是特定硬件与任务的实验结果，不保证随机化范围覆盖真实世界，更不能取代现实安全验证、限幅、急停和回退。[11, §§III–V]

奖励投机：代理目标被优化到漏洞处

当代理奖励与真实意图不一致，智能体可能找到高分但不合意的行为，常称reward hacking或specification gaming。问题不要求智能体有恶意：优化器只需发现计分漏洞。负面副作用、奖励传感器被操纵、在训练分布之外钻空子，都要求把约束、人工监督、对抗测试和上线监测纳入系统，而不是不断追加几个奖励项就假定解决。[2, §§2–4]

13.9 现实案例：AlphaGo与AlphaZero究竟证明了什么

AlphaGo把策略网络、价值网络和蒙特卡洛树搜索结合。2016论文报告其以5比0战胜欧洲围棋冠军樊麾，并描述先从人类棋谱监督学习策略，再通过自我对弈强化学习改进。结论属于围棋规则、棋盘表示、搜索和比赛条件；它不表示系统从围棋中学到了通用现实常识。[12, pp. 484–489 and Extended Data]

后续AlphaZero从随机初始化出发，以自我对弈和一种统一算法学习国际象棋、将棋和围棋，不使用人类对局数据；论文按其规定的训练计算和评测协议比较了当时程序。这里的“从零开始”是不使用人类棋谱或领域知识输入来训练棋力的限定说法，不是零先验：规则、合法动作、胜负信号、网络、搜索算法和计算资源均由人提供。[13, pp. 1140–1144 and supplementary materials]

棋类尤其适合自我对弈，因为规则明确、可精确模拟、失败可复位、终局得分清楚。医疗、交通或推荐系统存在不可逆伤害、部分可观察、非平稳人群和多方利益，不能从棋类胜率直接推出部署安全。负责任的证据链应分开：模拟训练、离线评估、受控试验、真实场景结果与持续监测。

13.10 能做什么，不能保证什么

RL适合动作影响未来、目标可用序列回报表达且能获得足够安全交互或高质量日志的任务，例如游戏、资源控制、机器人控制和某些排序决策。它并不自动适合每个预测问题；若每个样本独立且有可靠标签，监督学习往往更直接。

部署前至少追问：状态是否遗漏关键历史；奖励是否能被钻空子；$\gamma$ 和episode边界是否符合真实时间尺度；探索由谁承担风险；离线数据覆盖哪些动作与群体；仿真差异如何压力测试；是否报告随机种子、置信区间和失败分布；是否有权限边界、人工复核、急停、回退和申诉。平均回报不能替代约束违规率、最坏情形与群体影响。

核心概念

• 强化学习：通过交互学习序列决策，目标是所定义的期望累计奖励。
• MDP与POMDP：完全状态下的序贯决策模型及其部分可观察扩展。
• 策略：状态到动作概率的规则；不是环境模型。
• 价值函数：给定策略与起点的期望回报；不是道德价值。
• 时序差分学习与Q-learning：前者用一步目标bootstrap，后者以最大下一动作价值做off-policy控制。
• 策略梯度与actor–critic：直接优化参数化策略，以及用critic辅助actor的算法族。
• 探索—利用：在获取信息和使用现有知识之间取舍。

本章小结

• RL与监督学习的关键差别是动作影响后续数据，且奖励可能延迟；奖励是设计的标量，不是价值观。
• MDP用状态、动作、转移、奖励和折扣写清问题；策略决定行动，价值函数评价给定策略的长期回报。
• 在 $\gamma=0.9$、奖励 $[-1,2,5]$ 的轨迹中，三个回报为 $G_0=4.85$、$G_1=6.5$、$G_2=5$；折扣与索引必须一致。
• TD以估计更新估计；指定Q-learning非终止样本的目标为5.6、更新后3.3，终止样本目标为5、更新后3.0。
• 策略梯度直接更新动作概率；actor–critic以价值估计降低方差，但会引入critic误差。
• 探索、离线数据覆盖、仿真差异和奖励投机都是部署边界；棋类成功不能自动外推到开放现实环境。

相关词条

强化学习 · MDP与POMDP · 策略 · 价值函数 · Q-learning · 探索—利用 · 策略梯度 · Actor–critic · 时序差分学习