生成式 AI 与基础模型：从分布到有条件的新样本

导读：生成的是样本，不是来源、事实或作者

生成式 AI（generative AI）指以生成模型为核心、能在条件输入下合成文本、图像、音频、代码、分子结构等输出的系统与应用。生成模型（generative model）学习数据的概率分布或一条可从随机变量产生样本的过程；给定条件$c$时，目标可写成$p_\theta(x\mid c)$。其中$x$是要生成的对象，$c$可为空，也可是一段文字、类别、草图或已有样本，$\theta$是从训练数据学到的参数。这里的“新”只表示本次输出由生成过程组合出来，不保证训练集中从未出现相同或近似内容，更不保证事实新颖、艺术原创或法律上可受保护。

先把六个常被混成“AI在创作”的操作与判断分开：

边界会重叠但不会消失。自回归文本生成在每一步做“下一项预测”，多步预测连起来才形成开放式生成；检索增强生成先检索文档，再由生成器据文档作答，检索记录与生成句子仍须分别标注。[1] 学得的生成器可充当模拟器的部件，但若训练相关性没有守住物理规律，逼真的轨迹仍不是可信仿真。人用生成工具也可能作出选材、编排、修改等创造性贡献；这应从具体过程与适用法判断，而不是从“用了AI/没用AI”二选一。

17.1 生成建模：把“像数据”写成可检查的目标

若数据来自未知分布$p_{\mathrm{data}}$，模型用$p_\theta$近似它。对离散对象，$p_\theta(x)$是概率；对连续对象，它通常是相对于已声明测度的密度，密度值可以大于1，不能逐点读作事件概率。生成式与判别式建模的这个概率区别可在标准模式识别教材中追溯。[2, §§1.5.4 and 8.1] 训练集$D=(x_1,\ldots,x_n)$含$n\ge1$个观测。假设这些观测在训练目标中按独立同分布处理，且每个$p_\theta(x_i)>0$，则经验负对数似然（negative log-likelihood，NLL）为

若用自然对数，离散情形的单位可称nat；改用以2为底的对数则是bit。最小化NLL等价于最大化这批数据在模型下的似然，但不等于最大化事实性、审美、效用或公平。序列模型常把每个token的NLL平均，图像模型可能按维度报告；分母与量化方式不同，数字不能横比。真实样本也未必独立同分布——网页重复、同一说话人的多段录音和时间漂移都会破坏该简化假设。

并非所有生成模型都能方便地算$p_\theta(x)$。可显式归一化并直接算似然的模型、用潜变量下界近似似然的模型、只给隐式采样器的模型，以及经多步逆过程生成的模型，评价方式不同。高似然也未必对应人认为最好的样本；反过来，少数好看的展示不能说明覆盖了真实分布。

17.2 四条生成路线与基础模型

自回归：把联合分布拆成一串条件分布

自回归模型（autoregressive model，AR）按固定顺序把联合分布分解为$p_\theta(x_{1:L})=\prod_{t=1}^{L}p_\theta(x_t\mid x_{<t})$。$x_t$可以是字符、token、音频采样值或按顺序排列的像素，$x_{<t}$是此前各项。概率链式法则本身不要求神经网络；Shannon用随机过程和逐级语言近似说明过序列生成，后来的神经概率语言模型用共享表示学习条件概率。[3][4]

AR路线的优势是训练目标清楚、条件概率正规化；代价是生成通常串行，早先抽到的错误会成为后续条件。Transformer以注意力改善长距离信息处理，并可用遮罩保持解码器的因果顺序；它是网络架构，不与“自回归”同义，也可用于非生成编码器。[5]

VAE：在潜空间中生成，并承认后验算不动

变分自编码器（variational autoencoder，VAE）引入潜变量$z$：生成方向先从先验$p_\theta(z)$取$z$，再由解码器$p_\theta(x\mid z)$生成$x$；编码器$q_\phi(z\mid x)$近似难算的真实后验$p_\theta(z\mid x)$。联合分布定义为$p_\theta(x,z)=p_\theta(z)p_\theta(x\mid z)$；$D_{\mathrm{KL}}(q\|p)=\mathbb E_q[\log(q/p)]$衡量按$q$取值时它与$p$有多不一致，是非负且有方向的散度，不是对称距离。令$x$固定且$p_\theta(x)>0$；$z$定义在同一测度空间，相关期望有限，并且$q_\phi(z\mid x)$相对于$p_\theta(z\mid x)$绝对连续，则

式（17-2）中的下界也可等价写成$\operatorname{ELBO}=\mathbb E_{q_\phi(z\mid x)}[\log p_\theta(x\mid z)]-D_{\mathrm{KL}}(q_\phi(z\mid x)\|p_\theta(z))$，即“期望重构/生成解释项减去相对先验的KL”。它说明证据下界（evidence lower bound，ELBO）同时奖励重构/生成解释，并约束近似后验靠近先验；最大化下界不等于精确最大化似然，二者差距就是式中相对真实后验的KL项。VAE论文用重参数化给出可用随机梯度优化的估计器。[6] “自编码器”也不表示只会复制输入：训练时编码，生成时可直接从先验潜变量开始。

GAN：生成器与判别器对抗，但没有自动的质量证明

生成对抗网络（generative adversarial network，GAN）让生成器$G$把噪声映成样本，让判别器$D$区分真实与生成样本；二者进行极小极大博弈。原论文在理想容量与优化条件下分析了分布相等处的解。[7] 实际有限网络和非凸训练不保证到达该解，可能不稳定或只覆盖若干模式（mode collapse）。GAN通常是隐式模型：能快速取样，却不直接给每个$x$一个可用的正规化似然。判别器是训练搭档，不是部署时验证作品真伪的通用鉴定器。

扩散：学着一步步撤销加噪

扩散概率模型把易采样噪声与数据连接成许多小步。2015年的工作以非平衡热力学构造正向扩散与反向生成；2020年的去噪扩散概率模型（denoising diffusion probabilistic model，DDPM）把这一框架与去噪分数匹配联系起来并展示高质量图像生成。[8][9]

令数据维数$d\in\mathbb N_{>0}$，$x_{t-1},x_t\in\mathbb R^d$；$I_d$为$d\times d$单位矩阵，预先规定$0<\beta_t<1$。标准DDPM正向过程的一步为

$\mathcal N(x;\mu,\Sigma)$表示在$x$处求值、均值$\mu$、协方差$\Sigma$的多元高斯密度；$\beta_t$无量纲，并假定$x$各维已在相容尺度表达。一步只加少量高斯噪声；要使末端$x_T$近似$\mathcal N(0,I_d)$，噪声日程还须令$\bar\alpha_T=\prod_{s=1}^{T}(1-\beta_s)$足够接近0，不能只凭“步数多”保证。训练时常先直接构造任意时刻的带噪样本。定义$\alpha_t=1-\beta_t$、$\bar\alpha_t=\prod_{s=1}^{t}\alpha_s$，并取$\epsilon\sim\mathcal N(0,I_d)$，便有$x_t=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t}\epsilon$。这里的$\epsilon$是把从$x_0$到$x_t$所有正向扰动合并后得到的累计等效噪声，不是转移$x_{t-1}\to x_t$在最后一步新加入的innovation；仅在$t=1$时两者重合。若噪声网络$\epsilon_\theta(x_t,t,c)$在条件$c$下估计这一累计$\epsilon$，则一个常用的原样本估计为

式（17-4）要求$\bar\alpha_t>0$；它是由噪声估计反算的近似，不声称恢复产生$x_t$的唯一真实样本。完整DDPM采样还用$\epsilon_\theta$构造$p_\theta(x_{t-1}\mid x_t,c)$的均值，并在$t>1$时按规定方差加入新噪声；最后一步通常不再加噪。训练方向是$x_0\rightarrow x_t$，生成方向是$x_T\rightarrow x_0$。反向不是把某张训练图从雾里“找回来”，而是学习分布层面的逆转移；有限步近似仍会失败。采样并行性和步数后来有许多改进，但“扩散模型必然慢/必然不复制”都不是定义。

窄屏可横向滚动；从上到下查看训练前向、生成反向，再从左到右核对数值复算。

基础模型：复用范围的类别，不是第五条生成路线

基础模型（foundation model）是在广泛数据上大规模训练、可适配很多下游任务的模型类别与研究框架；Stanford报告在2021年提出并推广了当前用法，强调“涌现能力”和“同质化”：同一底座的改进可惠及许多应用，同一缺陷也会传到许多应用。[10]

它与前四条路线是交叉关系：基础模型可以是自回归语言模型、扩散图像模型、编码器或多模态组合；小型GAN也可以是生成模型却不是通常意义上的基础模型；有些基础模型主要产生表示而不直接面向用户生成。基础模型不是2021年突然发明的一种网络，也不是“通用人工智能”的同义词。

窄屏可横向滚动；按编号查看训练准备→条件→四条路线→采样→后处理→核验。

17.3 一次生成经过什么：训练、条件、采样与后处理

训练：不是把资料装进可搜索抽屉

训练先规定对象表示（token、波形值、像素或三维坐标）、数据与损失，再反复更新参数以降低训练目标。模型参数压缩了可用于预测的统计规律，却不是带稳定出处的文档仓库。它可能概括多个样本，也可能记住稀有序列；研究已从语言模型中抽取出逐字训练片段，说明“统计模型”与“绝不会复现”不能画等号。[11] 是否复制要比较具体输出与具体来源，不能凭架构名称预判。

预训练学习广泛规律；微调继续更新部分或全部参数以适应任务；参数高效适配只更新附加或少量参数；这些都会改变输出分布。训练损失下降只证明目标在相应数据上改善，开发集、独立测试、领域验证和上线结果仍须分开。

条件：约束分布，不是保证服从

条件$c$可来自类别标签、文字提示、参考音频、边缘图、结构骨架或检索文档。条件生成学习$p_\theta(x\mid c)$；“无条件”通常仍受训练分布、模型结构和随机种子约束。引导（guidance）可在扩散采样中加强与条件的吻合，但过强可能牺牲多样性或产生伪影。硬约束最好由语法解析器、类型检查器、物理求解器或数据库规则在模型之外验证，不能只写进提示后假定成立。

提示（prompt）是推断时传给模型的条件说明或示例。它能改变任务表述、风格和上下文，不能改写训练数据，也不自动授予来源、权限或真实性。相同文字在模型版本、系统指令、随机种子和外部工具不同的环境中可能产生不同结果；可复现实验须保存完整条件，而非只展示一句用户提示。

采样与温度：从分布作选择

本节采样（sampling）特指在生成阶段从模型分布选择输出，不是调查统计中“从总体抽取受访者”的数据采样。设某一步有$K\ge2$个候选，有限logit $a_1,\ldots,a_K\in\mathbb R$，温度$T>0$。logit是softmax归一化前给各候选的实数分数；单个值本身不是概率，分数差才决定候选间的相对概率。温度（temperature）缩放后的类别概率为

为数值稳定，实现通常先减去最大logit，这不改变概率。$T=1$保留原softmax；$T>1$使有限logit的分布趋平，$0<T<1$使其趋尖；对每个$j$都有$T\to\infty$时$p_T(j)\to1/K$。$T\to0^+$时概率集中在最大logit集合，若最大值并列，极限在并列项间均分；式（17-5）本身不定义$T=0$。温度不改变候选集合与事实依据，也不是“创造力刻度”：升温常增加多样性，同时可能增加错误；降温仍可能稳定地产生同一个错误。

贪心解码每步取最大概率项，可能错过整体更好的序列；随机采样保留多种路径，但结果随随机数变化。top-$k$或核采样先截断候选再归一化，束搜索保留若干高分前缀；它们改变搜索/采样规则，不重新训练模型。扩散模型的随机种子、步数、噪声日程和引导强度扮演相似的推断控制角色，却不能机械等同于语言模型温度。

后处理：能守规则，不会倒推出真相

后处理包括去重、内容过滤、语法修复、超分辨率、响度归一化、代码格式化、执行测试、引用核对和人工编辑。它可以把明确、可检查的约束变成闸门：JSON能否解析，程序能否编译，分子是否满足已知价态。它不能仅凭输出内部一致性证明新闻真实、蛋白安全或作品权利清洁。过滤器也有漏报、误报与群体差异，应报告其版本、阈值、被拒比例和申诉路径。

把四个公式放进同一份小数据

配套的原创可复算案例把四项训练样本的NLL、二状态潜变量的ELBO恒等式、两个logit在三种温度下的概率，以及式（17-3）与式（17-4）的一维单步加噪与反向重建写入/data/ch17-generative-case.json；生成与只读核验源码为/data/ch17-generate-case.py。运行 python3 ch17-generate-case.py --check ch17-generative-case.json 可只读复核。

• NLL： 序列A,A,A,B在$p(A)=0.75,p(B)=0.25$下，四项NLL总和为2.249341，均值为0.562335 nat；由均值取指数所得困惑度为1.754765。最后一个较不可能的B贡献1.386294，明显高于每个A的0.287682。
• ELBO： 先验$p(z)=(0.5,0.5)$，观测似然$p(x\mid z)=(0.2,0.8)$，近似后验$q(z\mid x)=(0.25,0.75)$。于是$\log p(x)=-0.693147$、ELBO为−0.700529，两者之差0.007382正好是$q$到精确后验$(0.2,0.8)$的KL散度；下界接近不等于恒等于证据。
• 一步扩散： 取$x_0=1,\beta_1=0.2,\epsilon=-0.5$，用$x_1=\sqrt{1-\beta_1}x_0+\sqrt{\beta_1}\epsilon$得到$x_1=0.670820$。若网络估计$\hat\epsilon=-0.4$，噪声平方误差为0.01，反算$\hat x_0=0.95$；一次小误差已使重构偏离原值。
• 温度： logit为$(\log4,0)$时，第一类概率在$T=0.5,1,2$下依次为$16/17\approx0.9412$、$4/5=0.8$、$2/3\approx0.6667$。温度升高使这两个候选变平，却没有增加候选或检查答案。

这些数值只检查公式、符号和舍入，不是模型质量基准，也不代表真实用户数据。

17.4 证据阶梯：会产出，不等于能使用

生成案例最容易用精选样本制造错觉。可把证据按问题逐层上移；高层不会抹去低层测试，而是增加更接近用途的约束：

1. 存在性展示： 系统能生成一个像样样本。它适合说明接口存在，最怕挑最好看的结果。
2. 锁定协议的基准： 预先固定数据、指标、比较对象、随机种子数量与失败计数。自动分数只测其定义覆盖的方面。
3. 盲法或独立复现： 评价者不知道方法，或外部团队按公开条件复算；可减少开发者选择偏差，仍可能与目标场景不同。
4. 领域验证： 对代码执行测试，对音频做听者实验，对分子做实验室测量，并纳入无效与失败样本。
5. 结果与伤害： 在真实流程比较节省的时间、错误、事故、申诉、环境成本及受影响群体；这是“有用且可接受”的证据，不由一张样图替代。

图像：DDPM的基准是协议内比较

DDPM原论文在CIFAR-10无条件图像生成中报告Inception Score 9.46、FID 3.17，并用CIFAR-10样本展示从随机噪声开始的渐进生成。[9, §§4.1 and 4.3, Table 1 and Figure 6] FID比较特定特征空间中的均值与协方差，数字依数据预处理、样本数和实现而变；它不是单图事实分，也不证明没有训练近邻、语义错误或权利问题。论文证据高于精选图，因为有数据集和比较协议；距离具体商业编辑、医学影像或历史照片证据仍很远。

音频：听者偏好必须保留语言、任务和对照

WaveNet直接对原始音频序列建模。论文在文本转语音实验中，让听者对自然度按五级量表评分；其英语和普通话系统在各自实验中优于论文所列的参数/拼接基线，但仍低于自然语音。[12, §4.2 and Tables 1–2] 这是特定语料、语言、说话人与听测协议下的主观评价，不证明任意口音可懂、说话人同意被模仿，也不检验冒充风险。音频“像真人”恰好会提高身份欺骗的危害，质量证据与安全证据方向可能相反。

代码：生成、筛选、执行与竞赛排名是整条系统

AlphaCode论文不是让一个样本直接交卷：系统从问题描述生成大量程序，用样例测试和聚类等步骤筛选，再提交有限候选；在模拟的Codeforces竞赛评价中，论文报告整体达到参赛者中约前54.3%的水平。[13, Figures 1–3] 因而结果属于“生成模型＋大规模采样＋过滤＋执行反馈”的系统，不应归因于一次提示或单个模型输出。竞赛题有明确判题器，真实软件还要面对不完整需求、安全、依赖、性能、维护和许可证；通过可见测试也可能过拟合或藏有漏洞。

科学：计算候选要经过湿实验，实验命中也不是临床结论

RFdiffusion把蛋白结构生成表述为对坐标和取向的去噪，并用于无条件骨架、对称体、结合体等设计；Nature论文除计算筛选外，还报告蛋白表达、结合测定与结构测定等实验验证。[14, Figures 1–6 and Methods] 这比只展示电脑里的结构图上了一层，因为部分候选经受了物理实验；但被测试的只是生成空间中的筛选子集，成功率依设计任务与筛选链而异。能表达或结合不等于无毒、可制造、可在人体治疗，更不证明模型学到完整生物因果机制。科学生成最重要的产物常是待检验假设，不是自动发现的事实。

跨这四类案例，指标不可互换：图像分布距离、音频听测、代码隐藏测试和蛋白实验分别回答不同问题。可信报告还应公开生成总数、筛除数、失败数与选择规则；只公布最终成功样本会把筛选成本藏起来。

17.5 创造性、作者与来源：三种判断不要互相冒充

“有创造性”至少有三种口径：输出对观察者是否新奇有用；人是否作出可归责的表达选择；法律是否承认特定主体对特定表达享有著作权。概率低、提示长、生成耗时久都不自动回答后两问。模型没有可供核验的生活意图，系统开发者、数据提供者、提示者、选择者和编辑者也可能贡献不同；署名与责任应记录实际流程。

美国版权局于2025年1月29日发布的正式报告认为：著作权保护人类作者的原创表达；AI作为辅助工具不妨碍保护，人对AI输出作出的可保护选择、协调、编排或修改须按个案判断，但按当时一般可用技术，仅提供提示不足以控制具体表达要素。[15, Executive Summary pp. ii–iii; §II.D.2 pp. 18–22; §II.E–F pp. 22–27] 这是美国主管机关截至该报告的法律分析，不是全球统一规则，也不表示输入数据使用、合同、商标、肖像/声音或虚假背书问题已解决。

因此应保存：所用模型与版本、输入材料及权限、完整提示/参数、生成批次、选择理由、人工改动和引用来源。来源记录服务于可追溯，不能把模型“说它参考了某书”当引用；相似性检测是调查线索，不是自动的侵权或原创裁决。

17.6 风险不是一张“幻觉”标签

NIST生成式AI画像把风险按治理对象拆成多类，包括捏造与错误信息、数据隐私、信息安全、知识产权、偏见、危险内容、人机配置、信息完整性以及环境影响等。[16, §§2.1–2.13] 对零基础读者，至少用以下问题检查：

• 事实与溯源： 流畅输出可能捏造人物、引文、代码API或实验结果。要求可打开的一手来源，并在来源之外独立核对关键命题。
• 记忆、隐私与权利： 模型可能吐出训练片段或提示中的秘密；不要把敏感信息交给用途、保存期和访问控制不明的服务。去重和过滤降低风险但不构成零复现保证。
• 偏见与代表性： 条件相同而身份词变化，职业、肤色、口音或家庭形象可能系统性改变。总体质量分会掩盖小群体伤害。
• 安全与双重用途： 代码、语音冒充、生物候选和说服性内容既可有益也可被滥用。风险取决于能力、访问、自动化规模、目标与防护，不能只按模型参数量判断。
• 人与自动化： 人工复核若时间不足、看不到来源或过度信任流畅文本，只是形式签字。须给复核者权限、领域证据、拒绝选项和升级通道。
• 成本与集中： 训练和高频推断消耗算力、能源和水，基础模型还会把许多产品绑定到少数底座；供应商更新可同时改变大量下游行为。
• 检测局限： 水印、内容凭证和生成检测可提供信号，但重编码、编辑、开放模型与误报会削弱它们。来源证明“文件经历了什么”也不等于内容为真。

一条可审计的最小流程是：先定义禁止失败及受影响者；只收集有权限且必要的数据；锁定模型、条件和后处理；保存包括失败在内的样本；按子群和攻击场景评价；高风险输出要求外部证据或执行验证；上线设置拒答、速率限制、申诉、回滚与变更复测。模型卡或供应商声明是证据入口，不是独立验收。

17.7 本章边界：后面几章分别接手什么

本章只建立跨模态的生成机制。下一章大语言模型再细讲token、规模化语言预训练、上下文、指令微调与文本幻觉；多模态模型讨论图文声视频如何对齐、互相条件化及跨模态评测；智能体讨论模型调用检索、代码、记忆和外部工具后形成的循环系统。

模型究竟好不好，交给模型评测展开；能力宣传与拟人化误区见能力边界；偏见、隐私、著作权、安全与治理分别由后续专章处理。本章提到这些风险，是为了阻止“先生成、以后再说”，不是提前给出法律意见、临床结论或系统安全认证。

核心概念

本章小结

1. 生成、检索、复制、预测与模拟描述不同操作；创造性归因则是关于贡献、责任和法律的判断。它们可以组合，不能互相代替。
2. 自回归、VAE、GAN和扩散是四条生成路线，分别用序列分解、潜变量下界、对抗学习和逆扩散建模；基础模型描述广泛预训练与复用，不是第五条路线。
3. 训练决定参数，条件缩小目标分布，采样把分布变成一次输出，温度只改变有限候选的相对概率，提示与后处理都不能保证真相。
4. NLL、ELBO和扩散转移各自依赖明确条件。公式目标、感知质量、任务效用和社会可接受性是不同评价层。
5. 图像、音频、代码与蛋白案例展示了从样本、基准、听测/执行到物理实验的证据升级；任何精选成功都应连同生成总数、筛选和失败报告。
6. 生成模型会概括也可能记忆。事实、隐私、偏见、安全、权利、环境与权力集中风险须在设计、评测和上线中分别治理。

相关词条

生成式AI · 基础模型 · 变分自编码器 · 生成对抗网络 · 扩散模型 · 自回归模型 · 采样 · 温度