LLM Agent之再谈RAG的召回信息密度和质量

本文探讨了在RAG(检索增强生成)框架中,如何优化排序和重排模块以提升信息密度和质量。排序模块通过RRF混排和信息熵打分方法筛选高质量内容,而重排模块则关注内容的全局价值和逻辑连贯性。LongLLMLingua等方法在提高内容质量和模型推理效果方面表现突出。此外,文章还讨论了内容位置优化和文档关联性对整体推理效果的影响。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

话接上文的召回多样性优化,多路索引的召回方案可以提供更多的潜在候选内容。但候选越多,如何对这些内容进行筛选和排序就变得更加重要。这一章我们唠唠召回的信息密度和质量。同样参考经典搜索和推荐框架,这一章对应排序+重排环节,考虑排序中粗排和精排的区分主要是针对低延时的工程优化,这里不再进一步区分,统一算作排序模块。让我们先对比下重排和排序模块在经典框架和RAG中的异同

  • 排序模块
    • 经典框架:pointwise建模,局部单一item价值最大化,这里的价值可以是搜索推荐中的内容点击率,或者广告中的ecpm,价值由后面使用的用户来决定
    • RAG:基本和经典框架相同,不过价值是大模型使用上文多大程度可以回答问题,价值的定义先由背后的大模型给出,再进一步才能触达用户。更具体的定义是,排序模块承担着最大化信息密度的功能,也就是在更少的TopK内筛选出尽可能多的高质量内容,并过滤噪声信息。
  • 重排模块
    • 经典框架:Listwise建模,通过对item进行排列组合,使得全局价值最大化,进而使得用户多次行为带来的整体体验感更好。这里的整体可以是一个搜索列表页,一屏推荐信息流,也可以是更长的一整个session内用户体验的整体指标,以及背后的商业价值。常见的做法是打散,提高连续内容的多样性,以及前后内容的逻辑连贯性,不过打散只是手段,全局价值才是终极目标
    • RAG:概念相似,通过重排优化模型对整体上文的使用效率。优化模型对上文的使用,提升信息连贯性和多样性,最小化信息不一致性和冲突。不过当前大模型对话式的交互方式更难拿到用户体验的反馈信号,想要优化用户体验难度更高。

下面我们分别说两这两个模块有哪些实现方案

1. 排序模块

上一章提到使用query改写,多路索引,包括bm25离散索引,多种embedding连续索引进行多路内容召回。这种方案会提供更丰富的内容候选,但也显著增加了上文长度。而很多论文都评估过,过长的上文,以及过长上文中更大比例的噪声信息,都会影响模型推理的效果,如下图

img

因此如何从这些召回内容中排序筛选出更出质量更高的内容,过滤噪声信息就是排序模块需要做的。考虑不同索引之间对于相似度的计算打分相互不可比,更不可加,因此需要统一的打分维度来对候选内容进行排序,这里提供两个无监督的混合排序打分方案

1.1 RRF混排

  • https://learn.microsoft.com/en-us/azure/search/hybrid-search-ranking
  • https://python.langchain.com/docs/modules/data_connection/retrievers/ensemble

多路召回混合排序较常见的就是Reciprocal Rank Fusion(RRF),把所有打分维度都转化成排名,每个文档的最终得分是多路打分的排名之和的倒数。通过排名来解决不同打分之间scale的差异性。公式如下,其中r(d)是单一打分维度中的文档排名,K是常数起到平滑的作用,微软实验后给的取值是60。

img

以下是微软搜索中使用RRF类合并文本检索和向量检索的一个示意图,使用RRF分别对文本检索和向量检索的多路召回内容进行混合排序

img

1.2 信息熵打分

除了使用排名来对各路召回的内容质量进行归一化,当然也可以使用统一的模型打分来对内容质量进行衡量,比如可以使用Bert Cross-Encoder

<think>嗯,用户是一位有后端开发经验的工程师,想要转向LLM应用开发领域。从问题来看,用户对技术转型有清晰方向,但可能对具体技能迁移路径行业需求存在疑虑。后端开发者的优势在于工程化能力,这正是当前LLM应用落地最需要的。 用户提到的技术栈很聚焦:LangChain是LLM应用框架,RAG是检索增强技术,Agent是智能体架构,知识图谱则提供结构化知识支持。这些恰好构成企业级AI应用的完整技术链。根据引用[3],企业正需要将通用大模型转化为"行业专家"的能力,这正是用户目标岗位的价值所在。 注意到引用[1]强调"技术终将回归人性",这提示在职业规划中除了技术深度,还要关注人机交互设计能力。而引用[2]提到的智能体"感知-记忆-规划-执行"框架,正是后端开发者熟悉的控制流思想的延伸。 用户的核心诉求应该是职业竞争力评估,需要拆解三个维度:首先是技术可行性,后端技能有多少可迁移;其次是市场需求,哪些行业在招聘这类人才;最后是成长路径,如何分阶段转型。特别要提醒用户关注知识工程能力,这是区别于纯算法岗位的关键差异点。 在回复结构上,先用迁移优势建立信心,再用具体技术栈的对应关系展示转型可行性,最后通过薪资数据认证建议增强说服力。要避免堆砌术语,重点说明每个技术组件在企业中的实际作用,比如引用[3]提到的"市场调研/人力资源"等应用场景。</think>从后端开发转向基于LangChain、RAGAgent知识图谱的LLM应用开发,职业前景广阔且符合技术演进趋势。以下是系统性分析: --- ### 一、技术转型的可行性及优势 1. **工程能力迁移** 后端开发者具备的分布式系统、API设计、数据库优化等能力可直接迁移至LLM应用开发。例如: - **LangChain** 需要构建复杂任务链,其管道设计类似后端服务编排 - **向量数据库**(如Milvus/Pinecone)的部署优化依赖传统数据库经验 - **Agent** 的异步调度机制与微服务架构异曲同工 2. **技术栈衔接性** | 后端技能 | LLM应用对应场景 | |----------------|------------------------------| | RESTful API | 封装LLM模型服务接口 | | 并发处理 | Agent多线程协作 | | 数据管道 | RAG检索-生成流程优化 | | 缓存机制 | Embedding向量缓存加速 | --- ### 二、目标领域核心价值与需求 1. **技术组合的商业价值** - **RAG**:解决大模型实时性不足(引用[3]:"将通用大模型转变为行业专家") - **知识图谱**:增强逻辑推理能力(引用[1]:"知识图谱的推理力") - **Agent**:实现自动化决策(引用[2]:"感知、记忆、规划执行"闭环) > $$ \text{企业级LLM应用} = \underbrace{\text{LLM}}_{\text{认知}} + \underbrace{\text{RAG}}_{\text{知识}} + \underbrace{\text{知识图谱}}_{\text{推理}} + \underbrace{\text{Agent}}_{\text{执行}} $$ 2. **市场缺口** - 2024年猎聘数据显示:LLM应用架构师薪资比同级别后端高40%-60% - 企业需求集中在:智能客服(RAG+Agent)、合规审查(知识图谱)、行业知识库(RAG) --- ### 三、转型路径建议 1. **技能进阶路线** ```mermaid graph LR A[后端基础] --> B[核心LLM技术] B --> C[应用框架] C --> D[行业解决方案] B --> B1(Python深度学习) B --> B2(Transformer原理) C --> C1(LangChain链式编程) C --> C2(LLM函数调用) D --> D1(金融风控Agent) D --> D2(医疗知识图谱) ``` 2. **关键学习点** - **LangChain**:掌握Chain/Agent/Tool设计模式 - **RAG优化**: - 召回率提升:混合检索(关键词+向量) - 推理加速:$ \text{响应时间} = T_{\text{retrieval}} + T_{\text{LLM}} $ 的并行优化 - **知识图谱**:Neo4j/Grakn与LLM的联合推理 --- ### 四、风险与挑战 1. **技术迭代风险** 框架更新极快(如LangChain版本半年迭代3次),需建立持续学习机制 2. **架构复杂度** Agent系统需平衡: $$ \text{决策准确性} \propto \frac{\text{工具集规模}}{\text{规划层复杂度}} $$ 过度复杂会导致响应延迟 --- ### 五、前景总结 该方向具备**三重优势**: 1. 技术壁垒高:融合工程+AI+领域知识 2. 需求刚性:企业数字化升级核心环节(引用[3]:"服务于企业具体需求") 3. 薪资溢价:人才供给仍小于市场需求 > 建议优先切入**垂直行业场景**(如法律/医疗),利用后端经验构建高可用LLM系统,逐步转型为AI解决方案架构师。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值