问答

是什么

问答（question answering，QA）要求系统针对问题返回答案或候选。开放域系统常先检索，再从材料抽取或生成答案；给定段落的阅读理解则可直接定位跨度。TREC-8 QA track是以新闻语料、事实型短问题和候选答案定义任务的早期具体评测。[1, §§1–4]

分层评价

应分别检查材料召回、答案正确性、证据蕴含与来源可信度。字符串匹配会漏掉等价表达，也可能把碰巧相同的错误推理算对；一个历史QA基准的成功不能外推到开放对话和任意语言。

在本书中

见第14章14.8。本页为编辑初稿，独立事实复核待完成。