核心概念
人类反馈强化学习
将人类对模型输出的评价转成奖励信号，并以强化学习更新策略，使输出更符合所收集偏好的训练方法族。
RLHF 基于人类反馈的强化学习 reinforcement learning from human feedback RLHF 人类反馈式强化学习
简明解释
人类反馈强化学习（reinforcement learning from human feedback，RLHF；亦称基于人类反馈的强化学习）是一组训练方法：收集人类对行为或输出的评价，把这些评价直接或经学习模型转成奖励，再用强化学习更新策略。Christiano 等人的早期通用方案让人比较两段行为，训练奖励预测器，并以预测奖励优化智能体。[1, Abstract, §§1–2 and Figure 1]
在语言模型中如何工作
一种典型 LLM 流程是：先做监督微调；让模型为同一提示生成多个候选；请标注者排序；用排序训练奖励模型；再以强化学习提高预测奖励，同时用约束抑制策略偏离参考模型。InstructGPT 采用了这一具体管线，但它只是 RLHF 的一种实现，不是术语的唯一算法定义。[2, §§3.3–3.6 and Figure 2]
边界与风险
RLHF 优化的是给定标注规范、标注人群、样本分布和奖励建模方法所捕捉的偏好，不是抽象的“全人类价值”。奖励模型会出错，策略也可能利用其漏洞；偏好改善不等于事实正确、公平或安全。直接偏好优化等不显式运行强化学习的后训练方法与 RLHF 目标相近，但按严格过程定义不应一概标为 RLHF。
相关章节
RLHF 在 LLM 后训练中的位置见第18章：大语言模型；策略与奖励的基础见第13章：强化学习。
本页参考来源
- Christiano P F, Leike J, Brown T, et al.. Deep Reinforcement Learning from Human Preferences [C]. NeurIPS 2017, volume 30. Advances in Neural Information Processing Systems, 2017. 定位：Abstract; §§1–2; Figure 1. 稳定来源（访问 ）。
- Ouyang L, Wu J, Jiang X, et al.. Training language models to follow instructions with human feedback [C]. NeurIPS 2022, volume 35, pp. 27730–27744. Advances in Neural Information Processing Systems, 2022. arXiv:2203.02155v1, 2022-03-04. 定位：§§3.3–3.6; Figure 2. 稳定来源（访问 ）。