核心概念

语料库

按明确目的收集、整理并记录来源的一组语言材料;它是语言样本,不是语言总体。

是什么

语料库(corpus;复数corpora)是按一定研究或工程目的收集、整理并记录来源的语言材料集合。材料可以是文字、转写语音、对话或附带标签的文本。[1, chs. 2–3]

边界

语料是采样结果,不是“这门语言本身”。平台、时期、作者、许可、清洗和标注都会改变其分布;数据量大也不会自动补齐缺失社群。词表是从语料得到或另行规定的token集合,知识库则组织事实或关系,均不等同于语料库。

在本书中

见第14章:文本如何编码。本页为编辑初稿,独立事实复核待完成。

本页参考来源

  1. Jurafsky D, Martin J H. Speech and Language Processing [M]. Online manuscript, 2025. Third edition online manuscript, January 12 2025 release. 定位:chs. 2–3. 稳定来源(访问 )。

相关概念