温度

简明解释

温度（temperature，$T$）是在 softmax 前缩放 logit 的正参数。logit是归一化前给候选的实数分数，单个logit不是概率，候选间的分数差决定相对概率。若候选 logit 为$a_j$，常用$p_T(j)=\exp(a_j/T)/\sum_k\exp(a_k/T)$。$T=1$保留原 softmax；$T>1$使有限 logit 对应的分布较平，$0<T<1$使其较尖。Hinton 等人在公式（1）中给出这一参数化，并明确说明升高温度会产生更软的类别分布。[1, §2 and Equation (1)]

为何出现

模型的原始分布可能过于集中，导致多次生成几乎相同；也可能需要更保守地集中在高分候选。温度提供不重新训练模型就调整相对概率的方法。它源于对 logit 分布的数学缩放，不是对模型“情绪”或“创造力”的测量。

如何工作

除以较大的$T$会缩小 logit 差异，除以较小的$T$会放大差异，然后 softmax 再归一化。对$K$个有限logit，$T\to\infty$时每项概率都趋于$1/K$。温度不改变候选集合；实际系统还可能先后应用 top-$k$、top-$p$、重复惩罚或其他变换，因此同一数值在不同接口中未必产生可比行为。公式要求$T>0$；所谓“温度为0”通常是接口对贪心选择的约定，不是把$T=0$代入上述公式。

能做什么、不能做什么

温度能调节随机采样的集中程度和常见的输出多样性。升温可能增加变化，也可能增加低概率错误；降温可能提高重复性，却仍会稳定地产生同一个错误。它不增加事实依据、不校准真实世界置信度，也不能保证原创、安全或可复现。完整复现还要固定模型版本、提示、采样算法、随机种子及其他参数。

相关章节

温度公式、极限与采样边界见第17章：生成式 AI 与基础模型；语言模型解码见第18章：大语言模型，概率校准见模型评测。