DeepSeek + Ollama + RAGFagflow:云端部署个人/团队知识库!

screenshot-20250210-093507.png

DeepSeek

在人工智能领域,知识库的构建与部署对于企业级应用至关重要。随着 DeepSeek 的爆火,慧星云作为领先的 AI 算力租赁云平台,现支持云端使用 DeepSeek,并结合 Ollama 和 RAGFlow 两个软件,为个人和团队提供高效、便捷的知识库部署方案。

环境准备

1. RTX 4090 GPU算力服务器开通与配置

  • 使用浏览器管理GPU服务器,并使用Terminal登录机器

注意提示信息:

| 开启学术加速(默认开启) | source network-turbo && proxy_set 

| 关闭学术加速 | source network-turbo && proxy_unset 

| 开启 docker 容器学术加速 | source docker-network-turbo && docker_proxy_set 

| 关闭 docker 容器学术加速 | source docker-network-turbo && docker_proxy_unset

这里可以先开启docker容器学术加速,执行下source docker-network-turbo && docker_proxy_set:

2. 系统环境配置

2.2.1 确保 vm.max_map_count 不小于 262144

  • 查看当前 vm.max_map_count 的大小:

sysctl vm.max_map_count

  • 如果 vm.max_map_count 的值小于 262144,可以进行重置,这里我们设为 262144,

sudo sysctl -w vm.max_map_count=262144

  • 如果希望做永久改动,可以在 /etc/sysctl.conf 文件添加vm.max_map_count 配置:

vim /etc/sysctl.conf

在最后添加一行 vm.max_map_count=262144 并保存退出;

  • 验证下修改是否生效

下载和部署RAGFlow

2.1 下载RAGFlow

切换到数据盘

cd /root/data/

Git ragflow最新版(v0.17.0为例)到数据盘

git clone https://github.com/infiniflow/ragflow.git

2.2 配置RAGFlow环境

进入到ragflow 的docker目录

cd ragflow/docker/

2.2.1 编辑.env文件

  • 文档引擎从 Elasticsearch 切换成为 Infinity:

如果不需要切换,则跳过该步骤,不影响后续使用

vim .env

# The type of doc engine to use.# Available options:# - `elasticsearch` (default) # - `infinity` (https://github.com/infiniflow/infinity)#DOC_ENGINE=${DOC_ENGINE:-elasticsearch}DOC_ENGINE=${DOC_ENGINE:-infinity}

  • 增加内存限制额度(内存充足的情况下,可跳过)


# The maximum amount of the memory, in bytes, that a specific Docker container can use while running.# Update it according to the available memory in the host machine.#MEM_LIMIT=8073741824MEM_LIMIT=32294967296

  • 安装自带嵌入模型的的RAGFlow(ragflow:v0.17.0默认安装嵌入模型,ragflow:v0.17.0-slim不安装嵌入模型,如果不需要安装嵌入模型,则跳过该步骤)


# The RAGFlow Docker image to download.# Defaults to the v0.17.0-slim edition, which is the RAGFlow Docker image without embedding models.#RAGFLOW_IMAGE=infiniflow/ragflow:v0.17.0-slim

取消注释该行(有嵌入模型,如果不需要自带的嵌入模型,则跳过该步骤,后续可以通过Ollama自主下载需要的嵌入模型),保存并退出;


# To download the RAGFlow Docker image with embedding models, uncomment the following line instead:RAGFLOW_IMAGE=infiniflow/ragflow:v0.17.0

2.3 部署RAGFlow

  • 使用docker开始部署RAGFlow

算力服务器是有RTX 4090显卡的,所以我们通过docker-compose-gpu.yml来部署,如果机器是集成显卡或者显卡性能较差,需要使用CPU,则通过docker-compose.yml来部署;

docker compose -f docker-compose-gpu.yml up -d

  • 等待docker 镜像部署完成,整个下载过程时间较长,请耐心等待

  • RAGFlow镜像拉取完成,相关服务启动

  • 服务器启动成功后再次确认服务器状态:

docker logs -f ragflow-server

出现以下界面提示说明服务器启动成功:

2.4 RAGFlow服务网络配置

2.4.1 使用控制台的自定义端口功能,将RAGFlow服务端口80,映射到公网

添加RAGFlow默认服务端口到自定义端口,映射到公网访问;

RAGFlow服务默认为80端口:

通过协议://域名:公网映射端口浏览器访问

2.5 RAGFlow部署完成,公网可通过浏览器直接访问

开始使用RAGFlow

3.1 注册RAGFlow账号

默认是英文页面,切换自己熟悉的语言

3.2 模型设置

查看模型提供商以及系统模型设置

由于我们安装的是ragflow:v0.17.0,所以自带嵌入式模型,如果安装的是ragflow:v0.17.0-slim,则需要自己拉取嵌入式模型,拉取方式可参考Ollama部署与模型下载方式;

3.2.1 Ollama部署

  • 下载与部署Ollama

docker拉取ollama镜像

sudo docker run --gpus=all -p 11434:11434 --name ollama ollama/ollama

  • ollama 镜像拉取完成,ctrl+c退出log页面并启动ollama

docker start ollama

  • 通过控制台自定义端口功能,将ollama服务端口映射到公网

出现Ollama is running,则代表ollama已启动

3.2.2 使用Ollama下载本地模型

  • 通过ollama 拉取deepseek-r1:7b 做为chat类型的模型

sudo docker exec ollama ollama pull deepseek-r1:7b

  • 通过ollama 拉取llava:7b 做为Img2txt类型的模型

sudo docker exec ollama ollama pull llava:7b

3.2.3 通过Ollama添加本地模型

  • 通过ollama 部署本地chat模型

添加刚刚下载的本地模型deepseek-r1:7b做为chat模型

模型类型:chat

模型名称:deepseek-r1:7b

基础URL:http://host.docker.internal:11434/

最大token数:根据需求指定;

  • 添加完成后会在已添加模型里显示

  • 通过ollama 部署本地image2text模型

  • 其他类型的模型添加方式相同;

3.2.4 系统模型设置

3.3 知识库创建与设置

3.3.1 创建知识库

根据需求选择相关选项,教程按照默认的参数来创建知识库;

3.3.2 添加本地文件到数据集,并且对上传的文件进行解析

上传文件后,还需要对上传的文件进行解析(解析成功后才能问答哦),可以根据每个文件单独设置解析方法,默认是按照创建知识库时的解析方法进行文件解析;

解析进行中

此时GPU使用率开始提升,文档解析没有使用CPU,解析使用GPU符合预期;

3.4 助理创建与开始聊天

3.4.1 新建助理

3.4.2 助理设置

3.4.3 提示引擎设置

3.4.4 模型设置

3.4.5 新建聊天

开始知识库的使用吧

3.5邀请团队成员

3.5.1 将知识库配置为团队权限

3.5.2 团队成员注册账号

3.5.3邀请团队成员

填入团队成员的邮箱

3.5.4 团队成员接受邀请

接受邀请后,团队成员可以看到知识库。

3.5.5 系统模型设置

点击知识库,会提示系统模型设置,添加模型并配置系统模型,参考3.2.3《通过Ollama添加本地模型》和3.2.4《系统模型设置》

3.5.6 团队成员创建自己的助理

参考3.4《助理创建与开始聊天》

通过以上步骤,您可以在慧星云云端使用 DeepSeek,并结合 Ollama 和 RAGFlow 部署个人或团队的知识库。这一方案充分利用了 DeepSeek 的强大性能、Ollama 的模型管理和 RAGFlow 的知识库构建能力,为您的知识库应用提供了高效、可靠的解决方案。

 有关慧星云

慧星云致力于为用户提供稳定、可靠、易用、省钱的 GPU 算力解决方案。海量 GPU 算力资源租用,就在慧星云。

### Ragflow的本地化部署 对于Ragflow在Linux上的本地化部署以及实现远程访问服务并指定端口号的操作,虽然提供的参考资料未直接提及Ragflow的具体配置方法,但是可以根据网络应用的一般实践来推断合理的解决方案。 #### 配置环境变量与安装依赖项 通常,在Linux环境中部署应用程序之前,需要确保已正确设置了环境变量,并且已经安装了必要的依赖库。这一步骤可能涉及更新包管理器、安装特定版本的Java或其他运行时环境,具体取决于Ragflow的要求[^3]。 #### 创建配置文件 考虑到不同软件有不同的默认路径用于存储其配置文件,对于Ragflow而言,建议查找官方文档确认确切位置。如果类似于Hadoop这样的分布式处理框架,则很可能位于`/etc/ragflow/conf`目录下。如果有工具支持动态生成这些设置,那么应该利用该功能获取最新的配置模板以便进一步修改。 #### 启动服务并绑定到指定IP地址和端口 为了使Ragflow能够接受来自外部网络连接请求,必须将其监听接口绑定至服务器的实际公网或私网IP地址而非仅限于localhost(127.0.0.1),并且明确指明要使用的TCP端口号。例如,假设目标UDP目的端口为514,可以通过命令行参数或者编辑配置文件中的相应字段完成此操作[^1]。 ```bash # 假设 ragflow 提供了一个名为 start.sh 的脚本来启动服务 ./start.sh --bind-ip=0.0.0.0 --port=8080 ``` 这里使用的是 `--bind-ip` 和 `--port` 参数作为示例;实际名称可能会有所不同,请参照产品手册调整。 #### 实现远程调用(RPC) 为了让其他机器上的客户端程序能方便地调用Ragflow所提供的API接口,可以考虑采用RPC(Remote Procedure Call)技术构建代理对象(stub)。这样做的好处是可以像调用本地函数一样简单地执行远端的服务逻辑而不必关心底层通信细节[^2]。 ```java // Java 客户端代码片段展示如何通过 Stub 调用远程服务的方法 public class RemoteServiceClient { public static void main(String[] args){ // 创建远程服务实例并通过代理发起调用 IRemoteService remoteService = new RemoteServiceProxy(); String result = remoteService.invokeMethod("parameter"); System.out.println(result); } } ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值