中文分词

是什么

中文分词（Chinese word segmentation，CWS）是在给定规范或任务下，为通常不以空格分词的汉字序列预测词边界。方法可用词典最长匹配、概率模型、序列标注或神经模型。Sproat等的工作是结合词典、形态和统计信息的经典实例。[1, pp. 377–385 and 397–400]

不能省略的条件

结果依词典、标注指南、领域和新词处理而变。算法可复现只证明规则明确，不证明边界天然唯一。中文分词是token化的一种语言特定情形；token化还可直接产生字符、子词或字节单位。

在本书中

见第14章14.2。本页为编辑初稿，独立事实复核待完成。