基础模型

简明解释

基础模型（foundation model，FM）是在广泛数据上大规模训练、可通过提示、微调或其他方法适配多种下游任务的模型类别与研究框架。Stanford CRFM 的 2021 年报告提出并推广了这一术语，定义同时强调广泛数据、大规模训练和可适配任务范围。[1, Abstract and §1.1]

为何出现

规模化预训练使许多应用不再各自从零训练，而是共享同一个底座。报告用“涌现（emergence）”讨论能力随规模和适配产生的行为，用“同质化（homogenization）”指出大量系统依赖少数底座：一次改进可能惠及许多任务，同一缺陷也可能同时传导。[1, §§1.1–1.2 and Figure 1]

如何工作

基础模型先在跨任务或跨领域的大量数据上预训练，学习可复用表示或生成能力；下游开发者再用提示、微调、参数高效适配或附加模块把它用于具体任务。这里描述的是训练和复用范式，不规定必须使用 Transformer，也不规定必须自回归生成。模型可以面向语言、视觉或多模态，也可以主要输出表示而不是直接生成用户内容。

能做什么、不能做什么

一个底座可被适配到摘要、问答、分类、检索、视觉或多模态任务，降低每项任务从零训练的需求。广泛适配不表示每个任务都可靠，也不保证公平、可解释、低成本或安全；下游评估不能由预训练规模代替。基础模型不等于大语言模型、生成模型或生成式 AI，更不等于 AGI：这些类别有交叉，但分别描述模态/任务、建模方式、应用用途或假想能力范围。它也不是自回归、VAE、GAN、扩散之外的第五条生成路线。

相关章节

基础模型与四条生成路线的交叉关系见第17章：生成式 AI 与基础模型；Transformer 的架构背景见第14章：自然语言处理，大语言模型的规模化训练与适配见第18章：大语言模型。