n-gram

是什么

n-gram是连续$n$个token组成的片段。n-gram语言模型把完整历史近似为最近$n-1$个token：$P(x_t\mid x_{<t})\approx P(x_t\mid x_{t-n+1:t-1})$。[1, ch. 3, §§3.1–3.4]

取舍

unigram不看历史，bigram看一个前项，trigram看两个。$n$增大可保留更多局部次序，也使组合稀疏；未见组合需要平滑、折扣或回退。BLEU也统计n-gram重合，但它是翻译评价，不是n-gram语言模型。

在本书中

见第14章14.3。本页为编辑初稿，独立事实复核待完成。