指令微调

简明解释

指令微调（instruction tuning）用一组按自然语言指令表述的任务及期望输出继续训练预训练模型，使模型更能依据指令完成任务。FLAN 工作把它表述为在“由指令描述的任务集合”上微调，并研究对未见任务的零样本迁移。[1, Abstract, §§1–2 and Figure 2]

监督微调（supervised fine-tuning，SFT）是更宽的优化说法：直接以有目标答案的示例做监督学习。在 LLM 后训练语境中，SFT 数据常是“提示—示范回答”，因而常与指令微调互称；但 SFT 也可用于非指令任务，指令微调也不必限定示例来自人工撰写，所以二者并非在所有文献中严格同义。

如何工作

训练把指令、可选输入和目标响应组成样本，最小化模型输出相对目标 token 的监督损失。InstructGPT 流程先收集标注者示范并对预训练 GPT-3 做 SFT，之后才收集输出排序、训练奖励模型并进行强化学习。[2, §§3.1–3.4 and Figure 2] 因此 SFT 是该流程的一阶段，不等于完整 RLHF。

能做什么、不能做什么

指令微调可改善任务格式、回答风格和对未见指令的迁移，却不会保证指令无歧义、回答真实或行为安全。效果取决于任务混合、示例质量、覆盖范围及评测分布；示范中的偏差和错误也会被学习。提示工程在推断时改变输入，微调则更新模型参数，二者应分开记录。

相关章节

预训练、SFT 与偏好后训练的关系见第18章：大语言模型；监督学习基础见监督学习。