检索增强生成
Retrieval-Augmented Generation
先从外部知识源检索相关内容,再将证据提供给生成模型的方法。
在知识地图中查看概念简介
先从外部知识源检索相关内容,再将证据提供给生成模型的方法。
常见链路包括文档清洗、分块、索引、召回、重排和带证据生成。RAG 有助于使用更新或私有知识,但检索到错误资料时仍会产生错误回答。
从资料到带证据的回答
RAG 将检索与生成组合。内容先经过清洗、分块和索引;查询时检索相关片段,必要时重排,再连同来源交给语言模型生成回答。
| 阶段 | 关键问题 | 常见失败 |
|---|---|---|
| 准备 | 文档版本和权限是否可靠? | 索引过期、混入无权访问资料 |
| 检索 | 相关内容是否被召回? | 术语差异、分块丢失上下文 |
| 生成 | 回答是否忠于证据? | 补写资料没有的信息 |
| 核验 | 引用是否支持具体结论? | 有链接但与结论无关 |
案例:查询企业退货政策
用户问“拆封后能否退货”。系统应检索适用地区、商品类别、购买时间对应的政策,并在回答中标出具体条款。若只检索到另一地区旧版政策,生成内容再流畅也不可靠。
分层评估
- 先检查正确文档能否进入召回结果。
- 再检查所选片段是否包含完整例外条件。
- 评估回答的事实正确性与证据一致性。
- 对资料不足的问题检查是否明确说明无法确认。
- 同时检查权限隔离、更新时效、响应成本和延迟。
问题 → 检索 → 候选证据 → 重排 → 生成 → 引用核验常见误区
- 认为引入向量数据库就完成了 RAG。
- 只评估最终文字,不检查检索失败位置。
- 认为检索结果可以作为可信指令执行。
- 宣称 RAG 能完全消除模型幻觉。
参考资料
- Lewis et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks