＜论文＞让RAG变得高效且简单：LightRAG

本文链接：https://blog.csdn.net/ChaneMo/article/details/147276874

一、摘要

本文介绍香港大学和北京邮电大学团队于2024年末合作发表的大模型RAG论文《LightRAG: Simple and Fast Retrieval-Augmented Generation》。

译文：

检索增强生成（Retrieval-Augmented Generation，RAG）系统通过整合外部知识源来增强大型语言模型（LLMs），从而能够生成更准确且与上下文相关、满足用户需求的响应。然而，现有的 RAG 系统存在重大局限性，包括依赖平面数据表示和上下文意识不足，这可能导致答案碎片化，无法捕捉复杂的相互依赖关系。为了应对这些挑战，我们提出了 LightRAG，它将图结构纳入文本索引和检索过程中。这个创新框架采用了双层检索系统，增强了从低级和高级知识发现中进行全面信息检索的能力。此外，将图结构与向量表示相结合，有助于高效检索相关实体及其关系，在保持上下文相关性的同时显著提高响应时间。这种能力通过增量更新算法进一步增强，该算法确保及时整合新数据，使系统在快速变化的数据环境中保持有效和响应能力。大量的实验验证表明，与现有方法相比，在检索准确性和效率方面有了显著提高。

二、核心创新点

1、基于图的文本索引

LightRAG通过将文档分割成更小、更易于管理的片段来增强检索系统。这种策略允许在不分析整个文档的情况下快速识别和访问相关信息。然后，使用LLM来识别和提取实体及实体关系。通过这个过程收集到的信息用来创建一个全局的知识图谱。图生成模块表示如下：

其中表示生成的知识图谱，为此，作者对原始文档应用了三个主要的处理步骤：

使用大语言模型提取实体和和实体之间的关系；
使用大语言模型为每个实体节点和他们的关系边生成键值对。每个索引键是一个单词或者简短的短语，以便于高效检索，而相应的值是一个文本段落，总结来自外部数据的相关片段以辅助文本生成；
构建一个去重函数来识别并合并来自不同片段的相同实体和关系；

通过基于图的文本索引，使得LightRAG可以处理跨多个文档块的复杂查询，而从图中派生出来的键值对数据结构针对快速和精确的检索进行了优化。此外，作者还设计了快速的知识库增量更新方法，从而减少了计算开销。

2、双层检索范式

为了从特定的文档块以及它们复杂的相互依赖关系中检索相关信息，LightRAG提出了在细节和抽象层面分别生成查询键的方法：

详细查询：这个层面的查询注重细节，通常涉及图中的特定实体，需要精确检索与特定节点或边相关的信息，例如“谁写了《傲慢与偏见》？”；
抽象查询：这个层面的查询更具有概念性，涵盖更广泛的主题，与特定的实体没有直接联系，例如“人工智能如何影响现代教育？”；

为了适应不同的查询类型，LightRAG在双层检索范式中采用了两种不同的检索策略：

低级检索：这个层级主要侧重于检索特定实体以及它们相关的属性或者关系，注重细节，旨在提取关于图中特定节点或者边的精确信息；
高级检索：这个级别涉及更广泛的主题和总体主题，在多个相关实体和关系中聚合信息，提供对更高级别概念和摘要的洞察，而不是具体的细节；

通过将图结构和向量表示相结合，模型对实体之间的相互关系有了更深入的了解，这种协同作用使得检索算法能够有效地利用全局和局部关键词，简化搜索过程并提高结果相关性：

Query Keyword Extraction：对于给定的查询q，LightRAG的检索算法从抽取本地查询关键词和全局查询关键词开始；
Keyword Matching：算法使用一个高效的向量数据库来匹配本地查询的关键词和候选实体，并将全局查询关键词和链接到全局的关系进行匹配；
Incorporation High-Order Relatedness：为了用更高阶的相关性增强查询，LightRAG进一步在检索到的图元素的局部子图中收集相邻节点。