十分钟吃透 RAGFlow:从入门到精通,手把手教你搭建 RAG 知识库”

一、RAGFlow 概述

1、RAGFlow 是什么

RAGFlow 是一种融合了数据检索与生成式模型的新型系统架构。其核心在于将大规模检索系统与先进的生成式模型(如 Transformer、GPT 系列等)相结合。当面对用户查询时,它既能借助海量数据的知识库进行精准检索,又能利用生成模型生成符合上下文语义的自然语言回复。该系统主要包含数据检索和生成这两个关键模块 ,数据检索模块负责在海量数据中快速定位相关信息,生成模块则基于检索结果生成高质量的回答或文本内容。

2、RAGFlow 的特点
  1. 高效整合海量数据:凭借先进的检索算法,RAGFlow 能够在大数据中迅速找到相关信息,并将其运用到生成回答的过程中,大大提高了信息处理的效率。

  2. 增强生成质量:通过引入外部数据,生成模块得以突破模型记忆的限制,从而为用户提供更为丰富和准确的信息,有效提升了生成内容的质量。

  3. 应用场景广泛:在众多领域都能发挥重要作用,包括但不限于在线问答系统、智能客服、知识库问答、个性化推荐等,具有很强的通用性。

  4. 深度文档理解:能够从复杂格式的非结构化数据中精准提取知识,可处理如 Word、PPT、Excel、txt、图片、PDF、结构化数据、网页等多种格式的文档,满足多样化的数据需求。

  5. 模板化文本切片:支持基于模板的文本切片方式,不仅智能,而且可控可解释,同时提供多种文本模板供用户选择,以适应不同的应用场景。

  6. 可靠引用与低幻觉:文本切片过程可视化,方便人工干预和校对。生成的答案提供关键引用的快照并支持追根溯源,最大程度降低了大语言模型常出现的 “幻觉” 问题,使回答更具可靠性。

  7. 兼容异构数据源:对各类异构数据源表现出良好的兼容性,可支持丰富的文件类型,为数据的多样性处理提供了便利。

  8. 自动化工作流程:提供了简化、自动化的工作流程,全面优化的 RAG 工作流能够支持从个人应用到超大型企业的各类生态系统,并且大语言模型 LLM 以及向量模型均支持配置,还基于多路召回、融合重排序,同时提供易用的 API,便于集成到各类企业系统中。

3、RAGFlow 的应用场景
  1. 智能客服与虚拟助理:在电商平台等场景中,RAGFlow 能够实时从企业知识库中检索与用户查询相关的信息,如订单状态、产品信息、售后支持问题等,并生成精确、个性化的回答,极大地提升客户满意度和服务效率 。

  2. 文档生成与报告分析:对于企业年报、市场调查报告、技术文档等的自动生成,RAGFlow 能够从多个数据源中检索信息,并将其整合成结构化的文档或摘要,适用于大规模内容管理场景,提高文档生成的效率和质量。

  3. 实时数据分析与预测:以金融机构为例,RAGFlow 可实时收集和分析市场数据、财经新闻等信息,生成投资分析报告;在电力系统中,能够依据监控数据生成维护建议等,结合实时数据检索与生成分析,助力用户快速做出决策。

  4. 教育与科研辅助:智能辅导系统借助 RAGFlow,能够根据学生的问题动态生成解题步骤或学习资源;学生和研究人员可以利用它快速定位和分析相关的学术文献,高效完成文献综述的撰写,为教育和科研工作提供快速、精准的知识支持 。

  5. 医疗健康咨询:在线健康咨询平台利用 RAGFlow,从医学知识库中提取诊疗信息,并结合患者描述生成个性化的诊断和护理建议,为医疗健康领域的咨询服务提供有力支持。

  6. 法律和合规支持:在法律咨询平台中,RAGFlow 可实时从法律文本或法规中提取相关条款,并生成具体解读或建议,如合同条款优化建议等,帮助法律专业人员快速获取和分析法律信息。

  7. 内容推荐:新闻平台等可根据用户偏好,通过 RAGFlow 检索相关内容并生成个性化推荐内容,提升用户体验和内容传播的精准度。

4、RAGFlow系统架构

请添加图片描述

二、环境准备与系统搭建

环境需求

搭建 RAGFlow 系统前,需保证开发与运行环境符合以下条件:

  • 硬件配置:建议配备多核 CPU、16GB 及以上内存,以及支持高并发访问的存储设备;若需部署大规模检索服务,可选用分布式存储集群。
  • 操作系统:推荐使用 Linux 发行版(如 CentOS、Ubuntu),便于通过 Shell 脚本实现自动化管理;也支持 Windows 环境,但部署自动化脚本时可能需做适当调整。
  • 开发语言与工具:系统核心模块主要采用 Java 开发,同时结合 Shell 脚本完成自动化运维工作。
  • 依赖环境:需安装 Java 8 及以上版本,并配置 Maven 或 Gradle 进行依赖管理;数据检索部分可采用 ElasticSearch、Apache Solr 等开源检索引擎;生成模块依赖预训练模型,可借助 TensorFlow 或 PyTorch 实现。

服务器配置

  • CPU >= 4 核
  • RAM >= 16 GB
  • Disk >= 50 GB
  • Docker >= 24.0.0 & Docker Compose >= v2.26.1

安装

调整 max_map_count 值

要保证 vm.max_map_count 的值不低于 262144。

若想查看 vm.max_map_count 当前的数值,可执行以下命令:

$ sysctl vm.max_map_count

倘若 vm.max_map_count 的数值小于 262144,可按如下方式重新设置:

# 此处将其设为 262144:
$ sudo sysctl -w vm.max_map_count=262144

不过,你所做的修改会在系统下次重启时失效。要是想让改动永久生效,还需在 /etc/sysctl.conf 文件中,相应地更新 vm.max_map_count 的值:

vm.max_map_count=262144

克隆仓库代码

git clone https://github.com/infiniflow/ragflow.git

以下是改写后的内容,保持原意但表述更清晰流畅:

配置Docker镜像源与版本

步骤说明:切换至国内镜像源并启用Embedding模型

  1. 编辑项目配置文件 docker/.env
  2. 找到 RAGFLOW_IMAGE 配置项,将其值从默认配置:
    RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0-slim
    
    修改为阿里云国内镜像地址,并选择完整版(含Embedding模型):
    RAGFLOW_IMAGE=registry.cn-hangzhou.aliyuncs.com/infiniflow/ragflow:v0.16.0
    

版本选择指南

根据您的需求选择合适的镜像版本:

镜像标签镜像大小Embedding模型稳定性说明
v0.16.0≈9GB✅ 包含稳定正式版本
v0.16.0-slim≈2GB❌ 不含轻量运行版(无模型)
nightly≈9GB✅ 包含每日构建(开发预览版)
nightly-slim≈2GB❌ 不含轻量开发版(无模型)

推荐配置

  • 生产环境建议使用 v0.16.0 版本
  • 测试环境可选择 nightly 版本获取最新功能
  • 仅需API服务时推荐使用 -slim 版本减少资源占用

运行命令拉取镜像

docker compose -f docker/docker-compose.yml up -d

请添加图片描述

查看日志

docker logs -f ragflow-server

提示下面提示说明启动成功

     ____   ___    ______ ______ __
    / __ \ /   |  / ____// ____// /____  _      __
   / /_/ // /| | / / __ / /_   / // __ \| | /| / /
  / _, _// ___ |/ /_/ // __/  / // /_/ /| |/ |/ /
 /_/ |_|/_/  |_|\____//_/    /_/ \____/ |__/|__/

 * Running on all addresses (0.0.0.0)
 * Running on http://127.0.0.1:9380
 * Running on http://x.x.x.x:9380
 INFO:werkzeug:Press CTRL+C to quit

访问IP,进入 RAGFlow,注意不是 9380 端口,Web是http://127.0.01默认为 80 端口

三、应用

注册账号

image-20250218135625403

注册完直接登录

image-20250218135717184

添加模型

本文用到的模型类型:Chat 和 Embedding。 Rerank 模型等后续在详细介绍。

点击右上角->模型提供商->添加模型

image-20250219161523490

填写模型信息,模型类型选 chat

image-20250219161441642

再添加一个 Embedding 模型用于知识库的向量转换(RAGFlow 默认也有 Embedding)

image-20250219161827675

在系统模型设置中配置聊天模型嵌入模型为我们刚刚添加的模型

image-20250219163114721

创建知识库

image-20250219162148401

填写相关配置

  • 文档语言:中文
  • 嵌入模型:选择我们自己运行的bge-m3:latest,也可以用默认的。具体效果大家自行评估

image-20250219162457976

上传文件

这里我自己造了一个测试文档来验证知识库,内容是编的,介绍一个 ABCD 工具,文档在文末提供下载。

image-20250219162616449

image-20250219162528361

文件上传后是未解析状态,需要解析才可以使用,点击解析

image-20250219162738069

解析成功后点击文件可以看到解析效果

image-20250219162906257

效果

image-20250219162931748

创建聊天

image-20250219163339314

设置模型。token 调整大一些

image-20250219163408611

验证效果

问题一:直接发送 ABCD

知识库回答

image-20250219163519619

原文档

image-20250219163648682

问题二:ABCD 错误代码有哪些

知识库回答

image-20250219164100751

原文档

image-20250219164043103

问题三:ABCD 支持哪些系统

知识库回答

image-20250219164230807

原文档

image-20250219164256131

问题四:ABCD 官网

知识库回答

image-20250219164944000

你也可以在回答的结果看到他引用的知识库

image-20250219165026381

四、总结

本文介绍了 RAGFlow 的基础使用方法,从演示效果来看尚可。然而,在实际应用场景中,各类文件格式与结构各不相同,文件解析成为一大难题。一旦解析不准确,即便使用性能强劲的 Deepseek-R1 大模型(经亲测),也会出现分析错误的情况。因此,在 RAG 过程中,文件解析、Embedding 以及 LLM 是提升准确率的三大关键攻克点。

五、如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

https://img-blog.csdnimg.cn/img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

https://img-blog.csdnimg.cn/img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

<think>好的,我现在需要帮助用户了解如何使用Qwen3大模型搭建本地知识库。根据用户提供的引用内容,之前他们部署了Qwen2.5模型,现在想升级到Qwen3。我需要结合之前的回答和引用中的信息,给出一个清晰的步骤指南。 首先,用户提到了Ollama和Dify的部署,所以可能需要在程中包含这些工具的使用。用户之前部署了Qwen2.5,现在转向Qwen3,我需要确认Qwen3是否支持类似的部署方法,或者是否需要额外的步骤。 接下来,用户提到要结合本地知识库作为Dify的上下文,这意味着需要将知识库集成到Dify中,可能涉及文档加载、向量化存储和检索增强生成(RAG)的应用。这部分需要详细说明如何处理知识库文件,如何配置Dify来使用这些数据。 另外,用户提供的引用中有关于资料领取的部分,但根据系统指令,应避免无关推广,所以需要忽略这部分内容,专注于技术步骤。 还需要考虑用户可能的痛点,比如环境配置、模型下载、知识库格式要求等。需要分步骤解释,确保用户能逐步操作,同时注意技术细节的正确性,比如正确的Ollama命令、Dify的配置参数等。 最后,生成相关问题时要围绕搭建过程中的常见问题、优化方法和应用场景展开,帮助用户进一步探索。</think>### 使用Qwen3大模型搭建本地知识库的详细程 #### 一、环境准备与模型部署 1. **私有化部署Qwen3模型** 使用Ollama工具部署Qwen3模型(7B或更高参数版本): ```bash # 拉取Qwen3模型(假设已支持) ollama pull qwen3:7b # 启动模型服务 ollama serve ``` 若官方未直接支持,可手动构建`Modelfile`: ```dockerfile FROM qwen/qwen3:7b PARAMETER temperature 0.7 SYSTEM "你是一个专业的知识库问答助手" ``` 2. **验证模型可用性** 通过CURL测试API接口: ```bash curl http://localhost:11434/api/generate -d '{ "model": "qwen3:7b", "prompt": "量子力学三大基本原理是什么?" }' ``` #### 二、知识库构建与处理 1. **文档格式规范** - 支持格式:PDF/TXT/MarkDown/HTML - 推荐预处理:使用Python库清洗文本 ```python from bs4 import BeautifulSoup def clean_html(raw_html): soup = BeautifulSoup(raw_html, "html.parser") return soup.get_text() ``` 2. **向量化存储** 使用LangChain构建向量数据库: ```python from langchain_community.embeddings import HuggingFaceEmbeddings from langchain_community.vectorstores import FAISS embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-base-zh") documents = [...] # 预处理后的文档列表 vector_db = FAISS.from_documents(documents, embeddings) vector_db.save_local("my_knowledge_base") ``` #### 三、Dify平台集成(社区版) 1. **部署Dify服务** ```bash git clone https://github.com/langgenius/dify cd dify/docker docker-compose up -d ``` 2. **配置知识库连接** 在Dify控制台: - 新建应用 → 选择「知识库问答」 - 上传预处理文档或连接现有向量库 - 设置检索参数: ```yaml retriever: search_type: "similarity" k: 5 score_threshold: 0.7 ``` 3. **RAG流程配置** ```python # 自定义处理链示例 from langchain_core.runnables import RunnablePassthrough retriever = vector_db.as_retriever() qa_chain = ( {"context": retriever, "question": RunnablePassthrough()} | prompt_template | llm | output_parser ) ``` #### 四、效果优化技巧 1. **混合检索策略** 结合关键词搜索与向量检索: ```python from langchain.retrievers import BM25Retriever, EnsembleRetriever bm25_retriever = BM25Retriever.from_documents(docs) ensemble_retriever = EnsembleRetriever( retrievers=[bm25_retriever, vector_retriever], weights=[0.4, 0.6] ) ``` 2. **查询扩展** 使用Query2Doc技术增强检索: ```python from transformers import pipeline expander = pipeline("text-generation", model="Qwen/Qwen1.5-7B") expanded_query = expander(f"生成与'{query}'相关的三个扩展问题") ``` #### 五、监控与维护 1. **日志分析配置** ```bash # 查看Dify请求日志 docker logs -f dify-api ``` 2. **知识库更新机制** ```python # 增量更新脚本示例 def update_knowledge(new_docs): global vector_db vector_db.add_documents(new_docs) vector_db.save_local("my_knowledge_base") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值