—1—传统 RAG 与 HyDE 的对比分析
传统 RAG (Retrieval-Augmented Generation)
传统检索增强生成(RAG)核心是为 LLM 搭 “外部知识库”:先根据用户查询,从大型语料库检索相关信息,再将这些信息与查询一同输入 LLM,助力模型生成更准确、贴合需求的回答,同时减少 “幻觉”。
工作流程:
-
检索 (Retrieval): 用户查询经过处理(例如,向量化),用于在一个预先索引的向量数据库中搜索最相似的文档块。
-
增强 (Augmentation): 检索到的相关文档块与用户查询一起被送入 LLM。
-
生成 (Generation): LLM 利用提供的上下文生成最终的答案。
优点:
-
减少幻觉: 通过提供外部知识,LLM 不太可能“编造”事实。
-
可解释性: 检索到的源文档通常可以被展示给用户,从而增加了结果的可信度和透明度。
-
知识更新: 当底层知识库更新时,无需重新训练整个 LLM。
-
处理长尾问题: 能够回答不在 LLM 训练数据中的特定或最新信息。
缺点:
-
检索质量依赖: 检索阶段的质量直接影响最终生成结果。如果检索到的信息不相关或不准确,LLM 的输出也会受影响。
-
召回率挑战: 简单的相似度搜索可能无法捕捉到复杂的语义关系或多跳推理需求,导致召回率不足。
-
固定窗口限制: LLM 的上下文窗口大小限制了可以输入的信息量。
HyDE (Hypothetical Document Embedding)
HyDE 旨在解决传统 RAG 在检索阶段可能遇到的“查询-文档”语义鸿沟问题。它通过生成一个“假设性文档”来更好地表示用户查询的意图,从而提高检索的准确性。
工作流程:
-
假设性文档生成: 用户查询首先被送入一个 LLM,生成一个与查询相关的、但可能不完全准确的“假设性文档”。这个假设性文档旨在捕捉查询的语义意图。
-
假设性文档嵌入: 这个生成的假设性文档被编码成一个向量嵌入。
-
检索 (Retrieval): 使用这个假设性文档的嵌入,在向量数据库中检索与此嵌入最相似的真实文档。
-
增强与生成: 检索到的真实文档与原始用户查询一起送入 LLM 进行最终的答案生成。
优点:
-
弥补查询-文档语义鸿沟: 假设性文档作为桥梁,可以更好地对齐用户查询的语义与文档空间的语义,从而提高检索相关文档的能力。
-
提高召回率: 即使原始查询表述不佳或非常简短,生成的假设性文档也能提供更丰富的语义信息,有助于找到更多相关的文档。
-
无需额外的标注数据: HyDE 是一种零样本方法,不需要专门的标注数据来训练检索器。
缺点:
-
计算开销增加: 多了一步 LLM 生成假设性文档的过程,增加了计算和延迟。
-
假设性文档质量: 生成的假设性文档的质量会影响检索效果。如果 LLM 生成的假设性文档有偏差或不准确,可能导致检索失败。
-
幻觉风险(轻微): 虽然是为了检索,但 LLM 自身生成假设性文档时仍存在一定的幻觉风险,但这通常不会直接传递到最终答案,因为最终答案是基于真实检索文档生成的。
对比总结
特征 |
传统 RAG |
HyDE |
检索策略 |
直接使用用户查询进行相似度检索 |
先由 LLM 生成假设性文档,再用假设性文档的嵌入进行检索 |
目的 |
从外部知识库获取信息来增强 LLM 的生成 |
优化检索阶段,弥合查询与文档之间的语义鸿沟 |
优势 |
简单直接,减少幻觉,可解释性强 |
提高检索召回率和准确性,尤其对于模糊或简短的查询效果更佳 |
劣势 |
检索质量高度依赖查询与文档的直接匹配度 |
增加了计算开销和延迟,假设性文档质量是关键 |
适用场景 |
查询与文档语义明确匹配的场景,或对实时性要求较高 |
查询意图可能模糊、简短,或需要更深层语义匹配的复杂问答场景 |
—2—传统 RAG 与 Graph RAG 的对比分析
Graph RAG (Graph Retrieval-Augmented Generation)
Graph RAG 将图数据库(知识图谱)的结构化知识与 RAG 框架相结合,旨在利用知识图谱的丰富语义关系和推理能力来增强信息检索和生成。
工作流程:
-
知识图谱构建: 将领域知识存储在知识图谱中,其中实体作为节点,关系作为边。
-
图检索/推理:
-
基于查询的图遍历: 用户查询被解析,识别出其中的实体和关系,然后在知识图谱上执行图遍历或模式匹配,以检索相关的实体、关系和子图。
-
结合向量检索: 除了结构化检索,也可以将知识图谱中的节点和边进行向量嵌入,结合向量相似度搜索来找到相关信息。
-
-
增强 (Augmentation): 检索到的结构化信息(例如,三元组、子图或它们的文本描述)以及用户查询被送入 LLM。
-
生成 (Generation): LLM 利用图结构化上下文生成更精确、更具逻辑性的答案。
优点:
-
增强推理能力: 知识图谱固有的结构和关系使得 LLM 能够执行多跳推理、关系推理,从而回答更复杂的问题。
-
提高准确性: 结构化的知识比非结构化文本更精确,减少了 LLM 产生幻觉的可能性。
-
更好的可解释性: 知识图谱可以提供清晰的推理路径,提高了生成结果的可解释性。
-
处理复杂关系: 能够捕获实体之间的复杂关系,而不仅仅是文本相似度。
缺点:
-
知识图谱构建成本高: 构建高质量、覆盖全面的知识图谱需要大量的人工和计算资源。
-
查询解析复杂: 将自然语言查询映射到图查询(例如 SPARQL)或图遍历需要复杂的语义解析。
-
集成复杂性: 将知识图谱与 LLM 有效集成需要复杂的工程实现。
-
数据稀疏性: 如果知识图谱不完整,仍然可能面临信息不足的问题。
对比总结
特征 |
传统 RAG |
Graph RAG |
知识表示 |
非结构化文本(文档、段落) |
结构化知识图谱(实体、关系、三元组) |
检索机制 |
主要基于文本相似度的向量检索 |
结合图遍历、模式匹配和/或图嵌入的检索 |
信息类型 |
原始文本片段 |
实体、关系、子图、推理路径等结构化信息 |
优势 |
部署相对简单,对知识源要求低,灵活性高 |
增强推理能力,提高准确性和可解释性,处理复杂关系能力强 |
劣势 |
推理能力受限,可能无法处理复杂多跳问题 |
知识图谱构建成本高,查询解析和集成复杂,部署难度大 |
适用场景 |
大规模非结构化文本问答,快速部署 |
需要精确推理、逻辑一致性、处理复杂关系和领域专家知识的场景 |
总结与展望
-
传统 RAG 是一个通用且有效的框架,适用于大多数基于文本的问答场景。它易于实现,是许多 RAG 应用的基础。
-
HyDE 是传统 RAG 的一个有效优化,尤其是在查询表述不清晰或检索召回率不足时能发挥巨大作用。它通过改进检索前的查询表示来增强整体性能。
-
Graph RAG 代表了 RAG 的一个更高级、更复杂的演进方向。它通过引入结构化知识图谱,极大地提升了 LLM 的推理能力和答案的准确性。然而,其高昂的知识图谱构建和维护成本是主要障碍。
在实际的AI工程应用中,我们可能会看到这几种方法的进一步融合。例如,可以将 HyDE 用于生成更准确的图查询或增强图嵌入,或者将知识图谱的推理结果与传统文本 RAG 的检索结果结合起来,以达到最佳的性能。
读者福利大放送:如果你对大模型感兴趣,想更加深入的学习大模型,那么这份精心整理的大模型学习资料,绝对能帮你少走弯路、快速入门
如果你是零基础小白,别担心——大模型入门真的没那么难,你完全可以学得会!
👉 不用你懂任何算法和数学知识,公式推导、复杂原理这些都不用操心; 👉 也不挑电脑配置,普通家用电脑完全能 hold 住,不用额外花钱升级设备; 👉 更不用你提前学 Python 之类的编程语言,零基础照样能上手。
你要做的特别简单:跟着我的讲解走,照着教程里的步骤一步步操作就行。
包括:大模型学习线路汇总、学习阶段,大模型实战案例,大模型学习视频,人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型!
现在这份资料免费分享给大家,有需要的小伙伴,直接VX扫描下方二维码就能领取啦😝↓↓↓
为什么要学习大模型?
数据显示,2023 年我国大模型相关人才缺口已突破百万,这一数字直接暴露了人才培养体系的严重滞后与供给不足。而随着人工智能技术的飞速迭代,产业对专业人才的需求将呈爆发式增长,据预测,到 2025 年这一缺口将急剧扩大至 400 万!!
大模型学习路线汇总
整体的学习路线分成L1到L4四个阶段,一步步带你从入门到进阶,从理论到实战,跟着学习路线一步步打卡,小白也能轻松学会!
大模型实战项目&配套源码
光学理论可不够,这套学习资料还包含了丰富的实战案例,让你在实战中检验成果巩固所学知识
大模型学习必看书籍PDF
我精选了一系列大模型技术的书籍和学习文档(电子版),它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。
大模型超全面试题汇总
在面试过程中可能遇到的问题,我都给大家汇总好了,能让你们在面试中游刃有余
这些资料真的有用吗?
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。 👉获取方式:
😝有需要的小伙伴,可以保存图片到VX扫描下方二维码免费领取【保证100%免费】 相信我,这套大模型系统教程将会是全网最齐全 最适合零基础的!!