检索增强生成

简明解释

检索增强生成（retrieval-augmented generation，RAG）在生成任务中先从外部语料检索相关资料，再让生成模型以检索结果为条件产生输出。Lewis 等人的原始 RAG 工作把预训练的参数化生成模型与 Wikipedia 的非参数化稠密向量索引结合，并联合讨论检索文档与生成序列的概率。[1, Abstract, §§1–3 and Figure 1]

如何工作

常见管线先把文档切分、建立索引；收到查询后进行关键词、向量或混合检索，再排序与筛选片段，把片段连同问题放入生成模型上下文。原始论文提出的是可训练的特定架构；今天工程上也常用“RAG”泛指检索后拼接上下文的系统。使用该宽义时，应明确索引版本、检索器、排序器、片段选择和生成器，而不能只报告“使用了 RAG”。

能做什么、不能做什么

RAG 可让系统利用训练截止后、私有或可更新的资料，并为回答提供可检查出处；更新索引通常比重新训练全部参数容易。但它不自动保证真实：语料可能错误，查询可能漏检，排序可能选错，模型也可能误读材料或生成材料未支持的结论。显示一个链接也不证明句子受到该链接支持，应做陈述到证据的逐项核查。

与其他方法的边界

搜索引擎可以只返回文档而不生成答案；微调把信息或行为更新进参数；长上下文扩大一次可输入的容量；RAG 则强调运行时的外部检索与条件生成。三者可以组合，但解决的问题和失效方式不同。

相关章节

RAG 的检索、生成和证据边界见第18章：大语言模型；检索基础见信息检索，生成模型背景见第17章。