变分自编码器

简明解释

变分自编码器（variational autoencoder，VAE）是一类潜变量生成模型：编码器$q_\phi(z\mid x)$近似给定样本$x$后的潜变量分布，解码器$p_\theta(x\mid z)$描述如何由潜变量$z$生成样本。原论文以可微的重参数化估计器和证据下界，使近似推断与生成模型能够共同用随机梯度训练。[1, Abstract and §§1–2]

为何出现

潜变量模型能用较低维或结构化的$z$解释数据变化，但真实后验$p_\theta(z\mid x)$和边缘似然常难以直接计算。VAE 引入可学习的近似后验，让“推断潜变量”和“从潜变量生成”能在同一目标下优化。

如何工作

训练时，编码器为$x$给出潜变量分布参数，从中取样后交给解码器；重参数化把随机性写成参数无关噪声的可微变换。目标通常最大化证据下界（ELBO）：一项奖励解码器解释或重构数据，另一项减去近似后验相对先验的KL散度。直观上，$D_{\mathrm{KL}}(q\|p)$衡量按$q$取值时它与$p$有多不一致；它非负且有方向，不是对称距离。生成时不必先输入原样本，可以从先验$p(z)$取样，再经解码器产生$x$。原论文的公式（1）至（10）给出了下界及重参数化估计器。[1, §2.2, Equations (1)–(10), Algorithm 1]

能做什么、不能做什么

VAE 可用于生成、潜空间表示、插值和缺失信息建模。它不是只会复制输入的普通自编码器；但最大化 ELBO 不等于精确最大化数据似然，ELBO 也不是感知质量、事实性或原创性的分数。生成质量还受先验、编码器/解码器容量、训练数据和采样方式影响。

相关章节

VAE 与自回归、GAN、扩散路线的关系及 ELBO 边界见第17章：生成式 AI 与基础模型；神经网络基础见第5章：机器学习基础。