AI 百科搜索 /

核心概念

语言模型

给token序列或下一token在既有上下文下的条件分布赋概率的模型。

更新：Language Model

是什么

语言模型（language model，LM）给token序列赋概率。自回归模型按链式法则写成

P(x1:T)=∏t=1TP(xt∣x<t).P(x_{1:T})=\prod_{t=1}^{T}P(x_t\mid x_{<t}).

n-gram模型用截短历史和计数估计；神经语言模型学习分布式表示及条件概率函数。Bengio等的工作是神经概率语言模型的一项经典早期实现。[1, pp. 1137–1146, §§1–3]

能做什么与不能做什么

LM可用于补全、生成、重排和学习可迁移表示。它优化token预测，并不因此成为事实数据库：高概率序列可能错误，罕见真事也可能概率低。大语言模型是语言模型中的规模化类别；Transformer是常见架构，但二者不是同义词。

在本书中

见第14章：语言模型与第18章：大语言模型。

本页参考来源

  1. Bengio Y, Ducharme R, Vincent P, Jauvin C. A Neural Probabilistic Language Model [J]. JMLR, 3, 1137–1155. Journal of Machine Learning Research, 2003. 定位：pp. 1137–1146, especially §§1–3 and eqs. (1)–(2). 稳定来源（访问 ）。

相关概念