核心概念

基础模型

在广泛数据上大规模训练、可适配多种下游任务的模型类别与研究框架。

简明解释

基础模型(foundation model,FM)是在广泛数据上大规模训练、可通过微调、提示或其他方法适配多种下游任务的模型类别与研究框架。Stanford CRFM在2021年报告中明确提出并推广了当前意义上的这一术语。[1, Abstract and §1]

例如,同一预训练语言模型可被适配到摘要、问答或分类;规模化预训练减少了每个任务从零训练的需要,也让许多应用依赖共同底座。它不等于大语言模型,更不等于AGI:基础模型还可涉及视觉等模态,广泛适配也不保证每项任务可靠、无偏或可解释。

历史位置

第2章解释这是统摄性术语而非2021年突然发明的架构;技术详见第17章

本页参考来源

  1. Bommasani R, Hudson D A, Adeli E, et al.. On the Opportunities and Risks of Foundation Models [R]. Stanford CRFM / arXiv, 2021. arXiv v1, 2021-08-16. 定位:Abstract; §1; submission history. 稳定来源(访问 )。

相关概念