核心概念
语料库
按明确目的收集、整理并记录来源的一组语言材料;它是语言样本,不是语言总体。
语料 corpora language corpus
是什么
语料库(corpus;复数corpora)是按一定研究或工程目的收集、整理并记录来源的语言材料集合。材料可以是文字、转写语音、对话或附带标签的文本。[1, chs. 2–3]
边界
语料是采样结果,不是“这门语言本身”。平台、时期、作者、许可、清洗和标注都会改变其分布;数据量大也不会自动补齐缺失社群。词表是从语料得到或另行规定的token集合,知识库则组织事实或关系,均不等同于语料库。
在本书中
见第14章:文本如何编码。本页为编辑初稿,独立事实复核待完成。
本页参考来源
- Jurafsky D, Martin J H. Speech and Language Processing [M]. Online manuscript, 2025. Third edition online manuscript, January 12 2025 release. 定位:chs. 2–3. 稳定来源(访问 )。