核心概念
自然语言处理
用计算方法表示、分析或生成人类语言的交叉领域,覆盖规则、统计与神经方法以及多种语言任务。
NLP 自然语言处理技术 计算语言处理
是什么
自然语言处理(natural language processing,NLP)用计算方法表示、分析或生成人类语言。它覆盖文本规范化、分词、标注、分类、信息抽取、检索、翻译与语言生成,也包含规则、统计和神经方法。[1, chs. 2, 3, 6, 17 and 23]
不是什么
NLP不是某一种模型。大语言模型是其中一条模型路线,聊天产品还含检索、工具、权限和界面。NLP直接处理字符、token、向量等信号;任务表现不自动证明系统掌握了世界事实、说话者意图或人类全部意义。
在本书中
本页参考来源
- Jurafsky D, Martin J H. Speech and Language Processing [M]. Online manuscript, 2025. Third edition online manuscript, January 12 2025 release. 定位:ch. 2, §§2.1–2.4; ch. 3, §§3.1–3.4; ch. 6, §§6.1–6.8; ch. 17, §§17.1–17.3; ch. 23, §§23.1–23.4. 稳定来源(访问 )。