大语言模型：训练、生成与局限

导读：会续写，不等于知道

在输入框里问一句话，聊天助手可以解释概念、改写邮件，也能生成一段可以运行的代码。最容易产生的错觉，是把这种连贯反应理解成一个“把世界知识存在脑中、先弄懂问题、再把答案说出来”的人。本章重点讨论的 GPT 类因果自回归大语言模型，其核心训练任务更朴素：给定已经出现的 token，估计下一个 token 的条件概率。BERT 的遮盖预测与 T5 的去噪式文本到文本预训练不属于这条单向续写路线。规模、数据、Transformer 与训练方法把这项任务推到了很高的水平；指令微调、偏好优化、检索和工具又把概率模型包装成了可交互系统。能力是真实的，拟人化解释却未必成立。

本章沿一条完整链路前进：文本怎样变成 token；自回归 Transformer 怎样预训练；聊天行为怎样经指令数据和人类偏好形成；系统提示、解码、检索与工具怎样影响一次回答。随后把“语言建模、参数记忆、任务上的推理表现、外部工具执行、事实正确、对语言的理解”逐项拆开。读完以后，读者应能解释一个回答从哪里来，也能知道什么时候不应只信这个回答。

18.1　什么是大语言模型，为什么会出现

**语言模型（language model）为 token 序列分配概率，或在已有序列后预测下一个 token。这里的 token 是分词器处理文本得到的单位，可能是一个汉字、词的一部分、空格、标点或字节片段；它不等同“词”，不同模型对同一句话的切法和计数可能不同。大语言模型（large language model，LLM）**通常指在大量文本上训练、参数规模和通用任务覆盖都较大的神经语言模型。“大”没有跨时代不变的参数门槛，也不单指参数量：训练 token 数、计算量、数据覆盖、架构与后训练同样影响能力。

它的出现不是一次单点发明。Transformer 让序列中各位置可通过注意力并行交换信息；自监督预训练把普通文本本身变成训练信号，不必为每句话人工标注；硬件、分布式训练和数据工程使更大规模实验成为可能；迁移学习则让同一套参数服务许多下游任务。GPT、BERT 和 T5 代表三种不可混写的路线：GPT 类解码器通常从左到右自回归生成；BERT 以双向编码和遮盖词预测见长，并非典型聊天续写器；T5 用编码器—解码器把多种任务统一为“文本到文本”。“Transformer 模型”因而不等于“自回归 LLM”。[1][2][3][4]

可以做什么？ 在输入和评价条件明确时，它可用于草拟与改写、摘要、翻译、分类、问答、代码建议、信息抽取和自然语言界面。不能保证什么？ 单靠语言模型不能保证陈述为真、来源存在、计算正确、答案最新、决策合规，也不能从流畅文本推出意识、主观体验或通用智能。一个具体系统能否访问网页、数据库、计算器或执行代码，取决于外围工具和权限，不是模型参数天然拥有的能力。

18.2　从字符到上下文窗口

分词器先把输入映射为 token ID；嵌入层再把离散 ID 映射为向量。模型还要知道顺序，因此加入位置相关表示。一次计算可接收的 token 总量称为**上下文窗口（context window）**。它通常要同时容纳系统消息、对话历史、检索片段、用户新问题和计划生成的输出；产品标称的窗口并不全都留给用户原文。

窗口不是长期记忆。超过预算时，系统必须截断、摘要或另存；具体保留开头还是末尾属于实现策略，不能假设所有产品相同。即使信息没有被截掉，模型也未必同等利用所有位置。Liu 等人在多文档问答与键值检索实验中观察到，相关信息位于长上下文中部时，部分受测模型表现明显下降；这是特定模型和任务的实验结果，提示“装得下”不等于“稳定用得好”，并非所有未来系统的定律。[5]

18.3　预训练：把下一个 token 变成训练信号

设 token 序列为 $x_1,\ldots,x_n$。自回归模型用概率链式法则把整段序列的联合概率写成

其中 $\theta$ 是模型参数，$x_{<t}=(x_1,\ldots,x_{t-1})$ 是完整前缀。实际有限窗口只把截断、摘要或选择策略得到的 $c_t=g(x_{<t})$ 交给模型，因此实现中的预测写作 $p_\theta(x_t\mid c_t)$；被移出 $c_t$ 的原始 token 不再直接可见。训练时的因果掩码使序列位置 $s$ 不能注意它右侧的 token；再把输入与标签移位，用只含 $x_{<t}$ 的状态预测 $x_t$，从而避免目标泄漏。常见实现允许位置注意自身，并由该位置预测下一个 token。每个预测位置输出词表上的 logit 向量；softmax 把它转成和为 1 的条件概率。训练最小化正确 token 的平均负对数似然，也就是 one-hot 目标下的交叉熵。

多层自注意力允许每个位置按内容加权汇集较早位置的信息，前馈层再逐位置变换表示；残差连接和归一化帮助深层训练。注意力权重是模型内部计算量，不应自动解释成因果理由或人的“注意”。预训练反复更新参数，使真实后续 token 的概率提高。数据清洗、去重、混合比例、tokenizer、优化器和计算预算都会改变结果；“网上所有文本”“参数就是数据库”都是不准确的简写。

规模研究报告过较平滑的损失—计算关系，也显示固定计算预算下，参数量与训练 token 要配平。[6][7] 这些是所研究分布、架构和预算范围内的经验关系，不构成“参数越多，任何能力必然越强”的定律。训练语料还会带入偏见、错误、个人信息和受版权保护表达；过滤既可能降低风险，也会错删少数语言或特定社群材料。

18.4　一张可复算的小词表

下面不是实际 LLM 的规模缩影，而是一套公开全部数字的算例。词表顺序固定为 $V=[\text{花},\text{雨},\text{猫},\text{。}]$。模型在给定上下文 $c$ 时为 token $i$ 输出实数 logit $z_i$；logit 不是概率，整体同时加同一常数不改变 softmax。温度 $T>0$ 时，采样前概率定义为

本章所有 $\ln$ 均为自然对数，故交叉熵以 nat 计，困惑度用自然指数还原。第一位置的上下文是“春天”，logit 依次为 $[\ln8,\ln4,\ln2,\ln1]$。取 $T=1$，指数化得到未归一化权重 $[8,4,2,1]$，归一化常数

所以概率为 $[8/15,4/15,2/15,1/15]$。若真实下一个 token 是“花”，one-hot 交叉熵等于负对数似然：

第二位置上下文变为“春天 花”，logit 为 $[\ln1,\ln2,\ln1,\ln6]$，$Z=10$；真实 token “。”的概率为 $6/10$，因此

若这段评价序列只含这两个等权预测位置，平均序列损失与困惑度分别为

它可解释为这两步上模型给正确 token 的几何平均概率之倒数，但不是“模型平均在 1.77 个词里猜一个”。PPL 依赖 tokenizer、测试文本、条件上下文与对数换算；设置不同便不宜横比。若各位置权重不同或忽略 padding，分母也必须相应改变。 配套原始数据见/data/ch18-llm-case.json，生成与只读复核源码见/data/ch18-generate-case.py；这些数值仅用于复核公式，不是模型基准。

解码并不修改已经训练好的参数。一般地，top-k 的 k 必须是满足 1 ≤ k ≤ |V| 的整数；top-p 的阈值须满足 0 < p ≤ 1。仍用第一位置的 $T=1$ 分布：top-k 取 $k=2$ 时只保留概率最大的“花、雨”，再归一化为 $[2/3,1/3,0,0]$；top-p 取 $p=0.75$ 时，按概率从高到低取累计概率首次达到阈值的最短前缀。“花”累计 $8/15<0.75$，“花+雨”累计 $12/15=0.8\ge0.75$，故本例恰好得到同一分布。这里约定先做温度缩放，再排序截断，再归一化，最后才随机抽样；本例阈值边界无并列。不同库的并列、最少保留 token 和过滤顺序可能不同，报告实验必须写明实现。贪心每步取最大概率 token，不等于找到整段最高概率序列；随机采样提供多样性，也不会自动提高真实性。

18.5　从预训练模型到聊天助手

预训练得到的是续写分布，不天然知道产品希望的“有帮助回答”格式。常见后训练先做**指令微调（instruction tuning）：用“指令—理想回复”示例监督微调，使输入更常被解释为任务。随后可做偏好优化（preference optimization）**。InstructGPT 论文展示的一条 RLHF 流程是：人工示范做监督微调；标注者比较多个输出以训练奖励模型；再以该奖励信号用 PPO 优化策略，并加约束避免偏离过远。[8] 今天“RLHF”常被宽泛使用，但具体系统可能采用其他强化学习算法、直接偏好优化或 AI 反馈；没有训练披露就不应猜测配方。**直接偏好优化（direct preference optimization，DPO）**从成对偏好数据直接优化一个与参考策略相关的分类式目标，不另行训练可供PPO使用的显式奖励模型；这减少了流程部件，却仍继承偏好数据、参考模型和分布覆盖的限制。[9]

偏好数据把有限标注者、指南和采样分布的判断编码进系统。它可改善指令遵循和受测分布上的人工偏好，却不会把“受欢迎”变成“真实”，也不能覆盖所有文化与风险情境。在采用 system/developer/user 等角色化接口的平台中，系统提示可被协议赋予高于普通用户消息的指令优先级；具体角色名与层级以该平台规范为准，并非语言模型天然共有。OpenAI Model Spec 就定义了一套具体的指令权威链。[10] 系统提示不是新的权重训练，更不是不可突破的访问控制或安全边界。用户提示、系统提示、对话模板、工具返回和解码参数共同塑造最终输出。

需要区分五个对象：

• 基础模型强调在广泛数据上训练并可适配许多下游任务，不限定只含文本；具体聊天模型通常由一个预训练/基础底座经后训练派生，完整产品还含系统组件。这是不同分类维度，不把所有阶段强行归为互斥类别。[11]
• 预训练模型描述训练阶段；它可能尚未针对对话与人类偏好调整。
• 聊天助手是面向对话的产品系统，通常含后训练模型、提示模板、安全策略、工具和界面。
• **RAG**是在生成前或生成中检索外部材料，并把结果交给生成器的架构；它不是一种“更大的模型”。
• **agent（智能体系统）**让模型在循环中选择行动、调用工具、读取结果、更新状态，并设置停止与权限规则；一次检索问答不因带有 LLM 就必然是 agent。

开放权重、开源与可复现不是一回事

**开放权重（open weights）**只说明训练后参数可在一定条件下下载；它是发布方式，不是 GPT、BERT 或 T5 那样的架构/训练目标。以 Llama 2 为例，其论文披露了训练和评价并发布权重，但使用仍受配套许可证约束。[12] 权重可得便于本地部署、复现实验和某些审计，却不自动开放训练数据、清洗配方、全部训练代码、评测集或服务控制层，也不证明语料合规或系统安全。

“开源”还涉及修改、研究、再分发等权利及修改模型所需的首选形式。OSI 的 Open Source AI Definition 1.0 给出一套正式定义；它不是全球唯一法律标准，却足以说明“能下载权重”不应未经限定就写成“完全开源”。[13] 判断具体检查点时应逐项读模型卡、许可证和数据披露，而不是给整个模型家族贴一个永久标签。发布开放性与模型能力是正交维度；闭源模型可以用相同架构，开放权重模型也不会因开放而自动真实或无害。

窄屏可横向滚动；先看上方训练与对齐，再看下方普通解码、RAG与工具调用分支。

18.6　推断、检索与工具：能力来自哪一层

一次普通生成从当前上下文算出下一个 token 分布，依解码规则选 token，把它接回上下文，再重复，直到遇到停止标记、长度上限或外部终止条件。模型每一步都受已生成文本影响，早期小差异会沿序列放大。temperature、top-k 和 top-p 控制候选分布，不是“创造力旋钮”的科学测量，也不是事实校验器。

RAG 把查询交给检索器，从文档库取回若干片段，再让模型依据查询与片段作答。Lewis 等人的原始 RAG 研究把预训练序列到序列模型的参数记忆与 Wikipedia 稠密向量索引的非参数记忆结合，在知识密集型 NLP 任务上做微调与评价。[14] 当资料可更新且能展示引文时，这种分层很有价值；但检索会漏召回、错排序，资料可能过时、冲突或遭提示注入，生成器也可能无视证据或把引文配错。RAG 降低某些错误的机会，不提供真实性保证。

工具调用通常先由模型输出结构化调用请求，宿主程序依据 schema 解析并校验参数与权限，真正执行搜索、计算、数据库或代码工具，再把结果放回上下文。结构化输出只表示字符串满足规定形状，不等于调用已获授权、已经执行或执行正确。Toolformer 展示过让语言模型学习何时、怎样调用外部 API 的研究方法；这是论文实验，不是所有产品的统一实现。[15] 因而“模型算出 987×654”与“模型调用计算器并转述结果”是不同证据链。执行成功还不代表目标正确：模型可能选错工具、传错参数或误读返回值。这些宿主控制并非由 Toolformer 单篇论文推出。高风险操作应由系统按威胁模型实施 schema/输入验证、调用方授权、最小权限、隔离或沙箱、超时、事件日志/审计及必要的人在回路；NIST SP 800-53 的SI-10、AC-3/AC-6、SC-39和AU-2分别提供输入验证、访问执行/最小权限、进程隔离和事件日志的通用控制基线；超时属于应用可用性设计，schema的具体语法由接口契约定义，人在回路则须按风险另行设计，不能假称这些都由同一控制项规定。[16]

18.7　语言、记忆、推理、事实与理解

语言建模直接优化的是条件 token 概率。语法、风格、事实关联与解题模式都可能帮助降低损失，于是模型形成可迁移表示。这解释了能力为何可从简单目标中出现，却不证明每次输出都在检索一个明确事实或执行稳定算法。

参数记忆是训练样本影响权重后的统计痕迹。模型可泛化组合，也可能在特定条件下逐字复现罕见训练串。训练数据抽取研究证明某些样本可从模型中恢复，[17][18] 但不能据此说参数保存了一份可完整查询的语料库，或任意句子都能被取回。记忆带来隐私与版权风险；去重、过滤、差分隐私、输出检测和访问控制各有代价，均非万能。

推理表现应绑定任务、提示、工具、采样次数与评分规则。模型在数学、代码或多步问答基准上答对，说明该设置下产生了符合评分标准的输出；它不能单独证明模型使用了与人相同的心智过程。解释文字可能是事后生成，也可能包含不可验证环节。

事实正确需要答案与可核查世界状态相符。概率高表示该字符串在模型条件分布下更受支持，不是命题的真值概率；模型自己的置信措辞也未必校准。校准必须针对明确定义的预测事件、概率报告与数据分布评价，不能用“听起来很肯定”替代；问答语言模型的经验研究也显示校准会随模型、提示与任务设置变化。[19]

理解有多种哲学和认知定义。行为测试可比较能力，却不足以解决意识或主观体验问题。稳妥说法是：模型学得了支撑多项语言任务的内部表示，并在指定测试中展现相应能力；仅凭流畅、第一人称表达或服从指令，不能断言它有意识、真正信念或人类式理解，也不能反向断言所有功能性理解都不存在。

18.8　案例：先问证据是哪一层

代码。 Codex 论文提出 HumanEval，以隐藏单元测试衡量从说明生成 Python 函数的通过情况。[20] 这是模型训练报告中的自动执行基准：通过测试说明样例满足这些测试，不代表无安全漏洞、许可证风险或生产环境正确。实际开发还需代码审查、更多测试、依赖与安全扫描。

问答。 GPT-3、T5 等论文报告了闭卷或少样本问答基准；RAG 报告检索增强问答。基准分数受题集、提示、训练污染和评分脚本影响。人工偏好评价回答“哪个输出更受所选标注者欢迎”，不是同一件事；产品有用户使用也不是临床或法律有效性证据。

医学与科学。 Med-PaLM 研究在医学问答基准上评价 PaLM/Flan-PaLM，并让临床人员按事实性、精确性、潜在伤害和偏见等轴评价长答案。[21] 这是研究评价，不等于诊疗获批或自主临床部署。科学文献摘要、假设草拟和代码辅助可以节省初稿时间，但引用、单位、实验条件与结论仍须领域专家回到原始资料核验。

判断任何“模型达到专家水平”的说法，至少追问：是开发者训练报告还是独立复现？静态基准还是现实工作流？自动评分还是盲法人工评价？样本量、置信区间与排除规则是什么？是否有真实产品部署、监测和事故数据？这五类证据不能互换。

18.9　局限与治理：不是一张“缺点清单”

幻觉/虚构。 模型会生成上下文不支持或与事实冲突的内容，包括不存在的引文。这个词描述输出现象，不证明模型有人的知觉。要求可核引用、提供权威上下文、检索与工具校验可降低部分风险，但不能保证消除；NIST AI 600-1将confabulation列为需测量与管理的生成式AI风险。[22] 高风险结论仍须独立核查。

提示敏感与不稳定。 改写格式、顺序、示例或解码种子可能改变答案；Sclar 等人在所测模型和任务中系统比较了提示格式的偶然变化，结果属于特定实验范围，不能外推每个模型。[23] 报告能力时应固定模板、披露参数并重复采样，而不是挑最好一次。

数据污染。 测试题或近似文本若进入训练数据，分数可能混入记忆贡献。已有研究提出从模型回答中检测现代基准污染的办法，同时也显示检测依赖访问条件和判定规则。[24] 去重、时间切分、私有/动态题集和污染分析能增强可信度，但很难对不透明语料证明完全无重合。

长上下文与校准。 标称窗口只说明可接受长度，不保证中间证据被可靠利用。输出概率也不天然等于现实正确率；分布变化时校准会漂移。[19]

算力、能耗和碳排。 预训练、后训练和日常推断都消耗能源，数值取决于硬件、利用率、电网、冷却和核算边界。BLOOM 生命周期研究提供了一个可审计个案，[25] 不能直接外推每个闭源模型。比较应披露系统边界，而不只报一次训练的 GPU 小时。

隐私与版权。 语料可能含个人信息或受保护表达；在线服务如何记录、保留或用于改进输入取决于当时的具体条款，提交秘密前应核查服务版本与组织合同。隐私治理应记录处理目的与数据流，限制访问和保留并提供适用的删除/申诉机制；NIST Privacy Framework给出的是自愿性风险治理框架，不替代具体法域义务。[26] 训练版权合法性依司法辖区、来源、许可、法定例外与具体用途而变；美国版权局Part 3专门讨论生成式AI训练，并非对个案合法性的自动裁决。[27] 输出的可版权性则是另一问题。美国版权局截至2025年的报告认为，纯AI生成材料缺少人类作者身份，但人对输出的选择、编排或修改可按具体贡献判断；这是美国主管机关口径，不是全球统一裁决。[28] 技术去重不替代法律判断。组织应建立数据来源记录、保留期、访问控制、删除与申诉流程。

安全滥用与能力外推。 模型可扩大钓鱼、欺诈、恶意代码或危险信息的规模，也可能因夸大能力而造成自动化偏见。NIST AI 600-1 将虚构、隐私、信息完整性、知识产权和信息安全等放在生成式 AI 风险管理框架中。[22] 单一越狱率或基准分数不覆盖真实攻击面；部署需威胁建模、分层防护、红队、日志、速率限制、事件响应和持续监测。

18.10　本章小结：把回答还原为证据链

许多当代生成式LLM以自回归 token 条件概率为训练与生成核心；BERT遮盖预测、T5去噪式文本到文本等路线采用不同目标。它们通过 Transformer 与大规模自监督预训练获得广泛可迁移能力；指令微调和偏好优化塑造交互行为，系统提示和解码控制一次生成，RAG 与工具把外部信息和行动接入系统。基础模型、预训练模型、聊天助手、RAG 与 agent 位于不同层，不能混作同义词。

面对一个流畅答案，最有用的不是问“它到底懂不懂”，而是逐层追问：输入是否仍在上下文内？模型还是外部工具完成了关键步骤？陈述依据参数记忆、检索证据还是计算结果？基准、人工评价和真实部署支持的是哪一项主张？哪些环节可独立复核？语言模型的价值不因这些限制而消失；恰恰是把能力来源和证据边界说清，才能把它用在合适的位置。

核心概念

相关词条

大语言模型 · 上下文窗口 · 预训练 · 指令微调 · RLHF · 幻觉 · 检索增强生成 · 提示 · 系统提示