核心概念
分词／token化
按指定规范把输入文本映射为token序列的过程；token可取词、子词、字符或字节等单位。
分词 标记化 token切分 词元化
是什么
分词／token化（tokenization）按明确规范把输入映射为token序列。token可对应词、子词、字符或字节；用户感知的一个字符还可能由多个Unicode码点构成。Unicode默认字素和词边界是可实现基线，并允许按语言定制。[1, §§1–4]
为何重要
tokenizer决定序列长度、词表覆盖和模型实际看到的单位。SentencePiece等子词方案从语料学习片段，可把罕见词拆成更小单位；片段不必是语言学语素。[2, §§1–3]
边界
部署时应冻结规范化、词表与tokenizer版本，并明确OOV回退、未知字符、截断和零长度输入。空格不是所有语言的普适词界，也不存在脱离任务的唯一正确切法。
在本书中
本页参考来源
- Davis M, Iancu L. Unicode Text Segmentation [S]. Unicode Consortium, 2024. Unicode Standard Annex. 定位：§§1–2; §3 Grapheme Cluster Boundaries; §4 Word Boundaries. 稳定来源（访问 ）。
- Kudo T, Richardson J. SentencePiece — A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing [C]. Proceedings of EMNLP 2018, System Demonstrations, 2018. 定位：pp. 66–71, especially §§1–3. DOI；稳定来源（访问 ）。