核心概念
预训练
在面向特定下游用途适配之前，先以通常较广的数据和训练目标学习可复用参数或表示的训练阶段。
pretraining pre-training 模型预训练
简明解释
预训练（pretraining / pre-training）是在针对某个下游用途适配之前，先用通常更广的数据和训练目标学习可复用参数或表示的阶段。BERT 清楚区分了两个阶段：先在未标注文本上预训练通用表示，再以标注数据微调具体任务；论文的架构在两阶段基本相同，但输出层等任务组件可变化。[1, Abstract, §§1 and 3, Figures 1–2]
如何工作
语言模型预训练常从数据本身构造监督信号，例如预测下一 token、被遮蔽 token 或文本片段之间的关系。因标签不是逐条由人手标注，这类方法常称自监督学习；但预训练也可混合人工标注、弱监督或多模态目标，所以“预训练”描述训练顺序和复用目的，“自监督”描述信号来源，两者不是同义词。
与后训练的边界
预训练得到的基础参数可继续经过任务微调、指令微调、偏好优化或检索系统集成。它不是完整产品训练流程，也不保证模型已学到准确事实、遵守指令或适合部署。训练语料中的模式可影响参数，但参数不是可逐条查询、保证完整的文档库；需要时效与出处的任务仍应接入可核验信息源。
相关章节
规模化预训练及后训练阶段见第18章：大语言模型；自监督信号见自监督学习，训练与推断的区分见训练与推断。