幻觉

简明解释

幻觉（hallucination；亦称虚构、confabulation）指生成式系统产出错误或虚假内容的现象，尤其是内容看似自信、连贯，却与可核验事实或给定来源不一致。NIST 采用较少拟人色彩的术语 confabulation，并指出相关输出可能是错误或虚假的叙述、事实、数据或引用，也可能偏离提示或与同一上下文中先前内容矛盾；“hallucination”和“fabrication”是通俗称法。[1, §2.2 and Appendix A]

为什么会发生

语言模型通常优化 token 预测及后续偏好目标，而不是在每个陈述前执行可靠的事实查询。提示含糊、所需知识缺失或过时、检索材料错误、长上下文利用失败和解码选择都可能促成虚构。这个标签描述输出相对证据的失真，不表示模型具有人的感知体验。

如何判断与缓解

判断必须先指定参照：开放域陈述可对照可靠外部来源，基于文档的回答可检查是否受所给材料支持，摘要可检查是否忠于原文。要求可定位引文、接入检索、允许拒答、用工具验证、限制任务范围和人工复核均可降低风险，但没有一项单独保证消除虚构。检索增强系统仍可能检错、误读或生成超出证据的说法。

边界

创意写作中的虚构若符合任务要求，不应仅因内容非事实就计为错误；数值算错、遗漏、偏见和不安全建议也有各自风险类别，不能全部压成一个“幻觉率”。高风险用途应分别评估事实性、来源忠实度、校准、伤害和用户依赖。

相关章节

生成错误的机制、评估与缓解见第18章：大语言模型；生成式 AI 的风险边界见第17章，一般评测方法见模型评测。