子词

是什么

子词（subword）是整词和字符之间的token。BPE一类方案从训练语料反复合并常见相邻单元，使常见形式较完整、罕见形式仍可拆成已知片段；这被用于缓解开放词表机器翻译的稀有词问题。[1, §§1–3]

边界

子词由训练材料、词表大小、规范化和学习算法共同决定，不必对应语言学语素。训练阶段学习合并或词表，推断阶段须固定同一版本；字符回退能扩大覆盖，但不会保证理解新词或正确翻译专名。

在本书中

见第14章分词与未知项。