使用Huggingface上的开源医疗数据集，借助 RAGFlow 搭建自己的本地医疗问诊助手。
原理：RAGFlow是一个基于对文档深入理解的开源 RAG（检索增强生成）引擎。它的作用是可以让用户创建自有知识库，根据设定的参数对知识库中的文件进行切块处理，用户向大模型提问时，RAGFlow先查找自有知识库中的切块内容，接着把查找到的知识库数据输入到对话大模型中再生成答案输出
ragflow最大特点：不同的解析方法，支持丰富的文件类型，如Word、PPT、excel表格、csv/txt、图片、PDF、结构化数据、网页等
具体可以在本地部署成功后，在解析方法中查看
接下来，开始进入使用阶段，起舞··
一 使用自带的 WSL 安装 Ubuntu-22.04 系统
什么是WSL？WSL（Windows Subsystem for Linux）是微软开发的一项技术，允许用户在Windows系统中直接运行完整的Linux环境，无需虚拟机。通过操作系统级虚拟化，WSL将Linux子系统无缝嵌入Windows，提供原生Linux命令行工具、软件包管理器及应用程序支持。它具有轻量化、文件系统集成、良好的交互性及开发效率提升等优点，消除了Windows与Linux之间的隔阂，尤其适合开发者和需在Windows平台上使用Linux工具的用户。
1 启用window子系统及虚拟化
控制面板->程序和功能->启用或关闭window功能 或者：
win + r 键入 OptionalFeatures，直接打开
提示：winver查看 windows 系统版本：
最后，重启电脑后生效
2 将wsl，升级为wsl2
参考文章：zhuanlan.zhihu.com/p/704855705
说明：win默认系统自带了wsl，直接管理员身份打开cmd执行相关操作
相关命令：
wsl --update #升级到最新版本（wsl2）``wsl --list --online # 查看所有可用的发行版``wsl --install -d Ubuntu-22.04 # 安装 Ubuntu-22.04 系统``wsl -l -v # 显示当前安装了哪些系统``wsl --set-default-version 2 #设置wsl默认版本为wsl2``wsl.exe --set-version Ubuntu-22.04 2 #设置Ubuntu-22.04为 wsl2``wsl.exe --set-version Ubuntu-22.04 1 #设置为wsl1``wsl -d Ubuntu-22.04 #登录到Ubuntu环境
建议：wsl升级并设置默认版本为wsl2
3 启动操作安装的linux
使用 wsl：在 cmd（或powershell）输入 wsl（或者：wsl -d Ubuntu-22.04）
cat /etc/os-release #查看 Linux 的版本
设置时区命令：
timedatectl # 检查当前设置的时区
sudo timedatectl set-timezone Asia/Shanghai # 将时区设置为中国标准时间
timedatectl # 确保时区已经正确设置
操作 Linux 文件:
windows 文件资源管理器-> Linux 的标志，点击 Linux 就可以
二 安装win桌面版docker
win桌面版 地址:
www.docker.com/products/docker-desktop/
下载完之后，按照提示，一直点就行了哈
提示：因为安装完成后镜像很大（44G左右），默认会安装在C盘，建议更改到其他空闲盘
更改方法：设置–>Resourses
以下本项目用不到，可以忽略，因为docker用的是win桌面版docker
linux (学习在ubuntu上安装docker和docker compose)
安装docker ：
https://zhuanlan.zhihu.com/p/651148141
安装 docker compose：
curl -SL https://github.com/docker/compose/releases/download/v2.29.6/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose #下载 docker-compose程序包``sudo chmod +x /usr/local/bin/docker-compose #添加可执行权限``docker-compose -v #查看版本
三 部署启动ragflow
以下命令在git bash 中执行
ragflow仓库：
github.com/infiniflow/ragflow/blob/main/README_zh.md
软硬件要求：硬件：CPU ≥ 4 核 ; 内存≥ 16 GB; 磁盘空间 ≥ 50 GB; 软件：Docker版本 ≥ 24.0.0 ；Docker Compose 版本 ≥ v2.26.1
#查看版本``docker -v``docker compose version
启动部署服务器:
#1 克隆仓库``git clone https://github.com/infiniflow/ragflow.git`` ``#2 使用Docker镜像启动服务器（45 GB左右，约2小时左右）``修改./docker/.env的45行，把HF_ENDPOINT 设成相应的镜像站点``HF_ENDPOINT=https://hf-mirror.com``$ cd ragflow/docker``$ chmod +x ./entrypoint.sh``$ docker compose -f docker-compose.yml up -d`` ``# 3 确认服务器状态``docker logs -f ragflow-server
5 在浏览器中输入服务器对应的IP地址并登录RAGFlow (可在终端中用 ipconfig 查看ip)
点击signup注册，填入电邮地址和密码后，返回登录页，用刚刚注册的电邮地址和密码登录。
docker相关命令
sudo docker images # 查看镜像``docker ps # 列出正在运行的容器``# 进入名为 ragflow-server 的容器``docker exec -it ragflow-server /bin/bash``cd /ragflow``ls``# 退出容器``exit
相关bug:
bug1:无法正常下载（If inside mainland China）
解决1：修改./docker/.env的45行，把HF_ENDPOINT 设成相应的镜像站点
bug2: dependency failed to start: container ragflow-mysql is unhealthy
解决2：docker compose down -v #移除所有本地数据
docker compose up -d
四 安装本地大模型LLM
安装ollama(一步步点就行)
地址：https://www.ollama.com/
下载qwen2:7b模型(4.4GB)阿里的千问大模型对中文很友好，所以选择它
说明，ollama中有许多开源模型，都可自行本地下载
ollama list #列出模型``ollama run qwen2:7b #下载运行模型``ollama rm #删除模型``ollama show #显示模型信息
下载Embedding模型
说明：一个免费的中文的向量化模型
ollama pull shaw/dmeta-embedding-zh``ollama list
最后用浏览器打开 http://localhost:11434
可以看到页面中显示：Ollama is running
五 下载医疗数据集
地址：
huggingface.co/datasets/InfiniFlow/medical_QA
medical_QA(医疗问诊助手数据集)，它基于 PubMed 的数百万英文医疗论文，以及一些其他数据集，涵盖多个不同领域具有代表性的专业医疗数据，借助于 Agent 机制，提供中文问诊对话服务
ChatMed_Consult-v0.3.CSV 医疗咨询
Internal medicine_QA_all.csv 内科_QA_all.CSV
Medical Oncology_QA_all.csv 医学肿瘤学_QA_all.CSV
OB GYN_QA_all.csv 妇产科_QA_all.CSV
Pediatrics_QA_all.csv 儿科_QA_all.CSV
Andrology QA.CSV 男科QA.CSV S
urgical_QA_all.csv 外科_QA_all.CSV
六 RAGFlow 的使用
首先登录ragflow,进入后点击右上角图标
1 添加下载的本地千问模型和向量化模型
模型均在“第四步”做了安装
qwen2:7b:做问答chat的大模型
shaw/dmeta-embedding-zh:做embedding的，本地知识做向量化索引的
点击添加模型->按照如下添加向量化模型
因为ragflow使用的是docker，而ollama是在本地运行的，所以基础url为
base URL：http://host.docker.internal:11434
添加成功发后结果如下
2 创建知识库
2.1点击上方知识库–>创建知识库
2.2添加配置文件 语言选择中文，嵌入模型选择自己下载的，解析方法选择Q&A
2.3新增文件->上传第五步下载的医疗数据集QA
说明：如果不能一起上传，就单个上传
3 开始解析，等待成功 上传后点击右边放启动按钮，开始解析，等待解析成功，我这里文件80M左右，大约90分钟
原理：将每个QA对做成向量，用于提问后的匹配检索
4 检索测试 简单测试下知识库的相关搜索性
七 功能测试与使用
1 聊天（添加助理）
聊天–>添加助理–>配置相关参数（模型选择qwen2:7b） -->确定
模型选择qwen2:7b
测试聊天效果
2后端api服务
说明：通过部署的本地知识库大模型，不仅可以自己使用，还可以通过api给其他应用使用
右键打开聊天api
创建密钥
3 使用python程序调用
文档地址：https://ragflow.io/docs/dev/api
代码效果测试：
如何学习AI大模型 ？
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓
CSDN粉丝独家福利
这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】
读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈
对于0基础小白入门：
如果你是零基础小白，想快速入门大模型是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
👉1.大模型入门学习思维导图👈
要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。
对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）
👉2.AGI大模型配套视频👈
很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。
👉3.大模型实际应用报告合集👈
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）
👉4.大模型落地应用案例PPT👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）
👉5.大模型经典学习电子书👈
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）
👉6.大模型面试题&答案👈
截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习
CSDN粉丝独家福利
这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】
读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈
扫一扫
2375
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
