DeepSeek
在人工智能领域,知识库的构建与部署对于企业级应用至关重要。随着 DeepSeek 的爆火,慧星云作为领先的 AI 算力租赁云平台,现支持云端使用 DeepSeek,并结合 Ollama 和 RAGFlow 两个软件,为个人和团队提供高效、便捷的知识库部署方案。
环境准备
1. RTX 4090 GPU算力服务器开通与配置
-
使用浏览器管理GPU服务器,并使用Terminal登录机器
注意提示信息:
| 开启学术加速(默认开启) | source network-turbo && proxy_set
| 关闭学术加速 | source network-turbo && proxy_unset
| 开启 docker 容器学术加速 | source docker-network-turbo && docker_proxy_set
| 关闭 docker 容器学术加速 | source docker-network-turbo && docker_proxy_unset
这里可以先开启docker容器学术加速,执行下source docker-network-turbo && docker_proxy_set:
2. 系统环境配置
2.2.1 确保 vm.max_map_count 不小于 262144:
-
查看当前
vm.max_map_count
的大小:
sysctl vm.max_map_count
-
如果
vm
.max_map_count
的值小于 262144,可以进行重置,这里我们设为 262144,
sudo sysctl -w vm.max_map_count=262144
-
如果希望做永久改动,可以在
/etc/sysctl.conf
文件添加vm.max_map_count
配置:
vim /etc/sysctl.conf
在最后添加一行 vm.max_map_count=262144
并保存退出;
-
验证下修改是否生效
下载和部署RAGFlow
2.1 下载RAGFlow
切换到数据盘
cd /root/data/
Git ragflow最新版(v0.17.0为例)到数据盘
git clone https://github.com/infiniflow/ragflow.git
2.2 配置RAGFlow环境
进入到ragflow 的docker目录
cd ragflow/docker/
2.2.1 编辑.env文件
-
文档引擎从 Elasticsearch 切换成为 Infinity:
如果不需要切换,则跳过该步骤,不影响后续使用
vim .env
# The type of doc engine to use.# Available options:# - `elasticsearch` (default) # - `infinity` (https://github.com/infiniflow/infinity)#DOC_ENGINE=${DOC_ENGINE:-elasticsearch}DOC_ENGINE=${DOC_ENGINE:-infinity}
-
增加内存限制额度(内存充足的情况下,可跳过)
# The maximum amount of the memory, in bytes, that a specific Docker container can use while running.# U
pdate it according to the available memory in the host machine.#MEM_LIMIT=8073741824MEM_LIMIT=32294967296
-
安装自带嵌入模型的的RAGFlow(ragflow:v0.17.0默认安装嵌入模型,ragflow:v0.17.0-slim不安装嵌入模型,如果不需要安装嵌入模型,则跳过该步骤)
# The RAGFlow Docker image to download.# Defaults to the
v0.17.0-
slim edition, which is the RAGFlow Docker image without embedding models.#RAGFLOW_IMAGE=infiniflow/ragflow:v0.17.0-slim
取消注释该行(有嵌入模型,如果不需要自带的嵌入模型,则跳过该步骤,后续可以通过Ollama自主下载需要的嵌入模型),保存并退出;
# To download the RAGFlow Docker image with embedding models, uncomment the following line instead:RAGFLOW_IMAGE=infiniflow/ragflow:v0.17.0
2.3 部署RAGFlow
-
使用docker开始部署RAGFlow
算力服务器是有RTX 4090显卡的,所以我们通过docker-compose-gpu.yml来部署,如果机器是集成显卡或者显卡性能较差,需要使用CPU,则通过docker-compose.yml来部署;
docker compose -f docker-compose-gpu.yml up -d
-
等待docker 镜像部署完成,整个下载过程时间较长,请耐心等待
-
RAGFlow镜像拉取完成,相关服务启动
-
服务器启动成功后再次确认服务器状态:
docker logs -f ragflow-server
出现以下界面提示说明服务器启动成功:
2.4 RAGFlow服务网络配置
2.4.1 使用控制台的自定义端口功能,将RAGFlow服务端口80,映射到公网
添加RAGFlow默认服务端口到自定义端口,映射到公网访问;
RAGFlow服务默认为80端口:
通过协议://域名:公网映射端口浏览器访问
2.5 RAGFlow部署完成,公网可通过浏览器直接访问
开始使用RAGFlow
3.1 注册RAGFlow账号
默认是英文页面,切换自己熟悉的语言
3.2 模型设置
查看模型提供商以及系统模型设置
由于我们安装的是ragflow:v0.17.0,所以自带嵌入式模型,如果安装的是ragflow:v0.17.0-slim,则需要自己拉取嵌入式模型,拉取方式可参考Ollama部署与模型下载方式;
3.2.1 Ollama部署
-
下载与部署Ollama
docker拉取ollama镜像
sudo docker run --gpus=all -p 11434:11434 --name ollama ollama/ollama
-
ollama 镜像拉取完成,ctrl+c退出log页面并启动ollama
docker start ollama
-
通过控制台自定义端口功能,将ollama服务端口映射到公网
出现Ollama is running,则代表ollama已启动
3.2.2 使用Ollama下载本地模型
-
通过ollama 拉取deepseek-r1:7b 做为chat类型的模型
sudo docker exec ollama ollama pull deepseek-r1:7b
-
通过ollama 拉取llava:7b 做为Img2txt类型的模型
sudo docker exec ollama ollama pull llava:7b
3.2.3 通过Ollama添加本地模型
-
通过ollama 部署本地chat模型
添加刚刚下载的本地模型deepseek-r1:7b
做为chat模型
模型类型:chat
模型名称:deepseek-r1:7b
基础URL:http://host.docker.internal:11434/
最大token数:根据需求指定;
-
添加完成后会在已添加模型里显示
-
通过ollama 部署本地image2text模型
-
其他类型的模型添加方式相同;
3.2.4 系统模型设置
3.3 知识库创建与设置
3.3.1 创建知识库
根据需求选择相关选项,教程按照默认的参数来创建知识库;
3.3.2 添加本地文件到数据集,并且对上传的文件进行解析
上传文件后,还需要对上传的文件进行解析(解析成功后才能问答哦),可以根据每个文件单独设置解析方法,默认是按照创建知识库时的解析方法进行文件解析;
解析进行中
此时GPU使用率开始提升,文档解析没有使用CPU,解析使用GPU符合预期;
3.4 助理创建与开始聊天
3.4.1 新建助理
3.4.2 助理设置
3.4.3 提示引擎设置
3.4.4 模型设置
3.4.5 新建聊天
开始知识库的使用吧
3.5邀请团队成员
3.5.1 将知识库配置为团队权限
3.5.2 团队成员注册账号
3.5.3邀请团队成员
填入团队成员的邮箱
3.5.4 团队成员接受邀请
接受邀请后,团队成员可以看到知识库。
3.5.5 系统模型设置
点击知识库,会提示系统模型设置,添加模型并配置系统模型,参考3.2.3《通过Ollama添加本地模型》和3.2.4《系统模型设置》
3.5.6 团队成员创建自己的助理
参考3.4《助理创建与开始聊天》
通过以上步骤,您可以在慧星云云端使用 DeepSeek,并结合 Ollama 和 RAGFlow 部署个人或团队的知识库。这一方案充分利用了 DeepSeek 的强大性能、Ollama 的模型管理和 RAGFlow 的知识库构建能力,为您的知识库应用提供了高效、可靠的解决方案。
有关慧星云
慧星云致力于为用户提供稳定、可靠、易用、省钱的 GPU 算力解决方案。海量 GPU 算力资源租用,就在慧星云。