核心概念
大语言模型
以大规模数据和计算训练、具有大量参数并用于处理或生成语言的神经语言模型；“大”没有跨时代固定的参数阈值。
简明解释
大语言模型（large language model，LLM；又称大型语言模型）是以大规模语料和计算训练、具有大量可学习参数并用于处理或生成语言的神经语言模型。GPT-3 是一个有明确记录的实例：它是含 1750 亿参数的自回归语言模型，并以扩大模型、数据和计算规模来研究少样本表现。[1, Abstract, §§1–2 and Table 2.1] “大”是相对于同一时期常见模型的描述，不存在适用于所有年代和架构的固定参数门槛。
如何工作
自回归 LLM 通过预测后续 token 预训练；BERT一类编码器则可预测被遮蔽的token，两种目标不可混写。[2, Abstract and §§1–3] 模型还可经监督微调或偏好优化适配用途。自回归 LLM 在生成时根据当前上下文计算下一 token 的分布，选择一个 token 后重复。Transformer 是常见架构，但“LLM”描述语言模型的规模化类别，不等于某一架构；并非每个 LLM 都是聊天产品。
边界与风险
LLM 可用于补全、摘要、翻译、问答、代码和分类，但训练目标不会自动赋予事实核验、来源追踪或稳定服从指令的能力。参数量也不能单独预测任务质量、安全性或运行成本。基础模型强调广泛训练后向多任务适配，范围还可覆盖视觉等模态；因此基础模型与 LLM 大量相交，却不是同义词。Stanford CRFM 对基础模型的讨论也把语言模型列为该范式中的一类，而不是把两类概念合并。[3, §§1.1–1.2 and §2.6]
相关章节
语言建模基础见第14章：自然语言处理；规模化预训练、适配、生成与局限见第18章：大语言模型；基础模型的上位交叉范式见第17章：生成式 AI 与基础模型。
本页参考来源
- Brown T B, Mann B, Ryder N, et al.. Language Models are Few-Shot Learners [C]. NeurIPS 2020, volume 33, pp. 1877–1901. Advances in Neural Information Processing Systems, 2020. arXiv:2005.14165v4, 2020-07-22. 定位：Abstract; §§1–2; §2.1; Table 2.1. 稳定来源（访问 ）。
- Devlin J, Chang M-W, Lee K, et al.. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding [C]. NAACL, 2019. 定位：Abstract; §§1–3. DOI；稳定来源（访问 ）。
- Bommasani R, Hudson D A, Adeli E, et al.. On the Opportunities and Risks of Foundation Models [R]. Stanford Center for Research on Foundation Models, 2021. arXiv:2108.07258v3, 2022-07-12. 定位：§§1.1–1.2; §2.6. 稳定来源（访问 ）。