自回归模型

简明解释

自回归模型（autoregressive model，AR）按固定顺序把联合分布分解为下一项条件分布的乘积：每一步根据先前各项预测下一项。$x_t$可以是词、token、像素或音频采样值；Bengio 等人的神经概率语言模型明确把句子概率写成逐词条件概率之积。[1, §2 and Equation (1)]

为何出现

直接表示长序列的联合分布通常不可行。概率链式分解把问题变成许多共享参数的下一项预测任务，使训练目标清楚。对已完整观察的序列，采用因果遮罩且架构支持并行计算时，可以在一次前向计算中同时得到多个位置的训练损失；这不表示所有自回归架构都能并行训练，更不表示逐项生成能并行。

如何工作

训练时，模型接收真实前缀并提高真实下一项的条件概率；生成时，从起始条件出发，对下一项分布采样或搜索，把选出的项追加到前缀，再重复直至结束。WaveNet 把同一分解直接用于原始音频，并用因果卷积确保输出只依赖过去样本。[2, §2.1, Equations (1)–(2) and Figure 2] 自回归是概率分解方式，不限定必须使用循环网络、卷积或 Transformer。

能做什么、不能做什么

它能生成文本、音频、代码或其他有顺序表示的数据，并为序列计算逐项条件概率。生成通常具有串行依赖，早先选错的项会成为后续条件；高概率序列也不自动真实、有用或安全。Transformer 可以实现自回归解码，也可以用于非自回归或仅编码任务，因此两者不是同义词。

相关章节

联合分解、误差累积及采样见第17章：生成式 AI 与基础模型；token、语言预训练和文本生成见第18章：大语言模型。