核心概念
词元
文本经过指定tokenizer后交给模型或统计程序处理的离散单位，可对应词、子词、字符或字节。
token 标记 语言模型词元
是什么
词元（token）是文本按指定规则切分后交给程序的离散单位。它可能对应词、子词、字符、标点或字节；随后通常查固定词表变成整数ID。[1, ch. 2]
边界
Token不是语言天然附带的唯一边界。同一句话换tokenizer会得到不同序列长度与未知项处理，也会改变计数、成本和模型输入。用户眼中的一个字、Unicode码点、语言学词和模型token不能互换。
在本书中
本页参考来源
- Jurafsky D, Martin J H. Speech and Language Processing [M]. Stanford University, 2025. Third-edition online draft. 定位：Chapter 2, text normalization and tokenization sections. 稳定来源（访问 ）。