对很多企业来说，把大模型留在本地机房，并不是为了赶时髦，而是被现实逼出来的“刚需”。把大模型搬到本地，既能用公司多年沉淀的私域数据做定向微调，让 AI 真正理解自家业务、说出行内人认可的答案，又能在拔掉网线后依旧稳定运行，彻底把数据、模型和算力都锁在机房里，实现“离线也能用、调优更精准、安全无外流”的闭环。
虽然目前满血跑大模型的硬件要求通常在百万级别，算力仍旧是企业大模型应用的瓶颈，但通过一些蒸馏技术的应用，也有很多企业开始尝试大模型的本地化应用。大模型的算力成本逐步下降，可以预见，未来大模型的本地化部署一定是各个企业的刚需。本文就以CentOS7的环境，以一个4核8G内存的云服务器，部署最基础版的DeepSeek R1 1.5b模型作为演示。
Ollama部署
1、首先检查系统架构
uname -m
2、下载Ollama与安装
根据自己的系统架构，在系统的/usr目录下，下载安装Ollama
curl -fsSL https://ollama.ac.cn/install.sh | sh鉴于国内服务器下载速度较慢，所以下载好Ollama安装包后，上传到服务器再安装。
https://github.com/ollama/ollama/releases/在github下载自己合适的版本，然后再进行安装。
这块百度到了一个网盘下载地址：
https://pan.baidu.com/s/1e9Tke5t-x5YIw1iuPvBb5Q?pwd=wcba将下载好的文件上传到/usr/ollama路径下，使用解压命令安装。
tar -C /usr/ollama -xzf ollama-linux-amd64.tgz稍等片刻，解压完毕后，检查安装版本。
/usr/ollama/bin/ollama -v
3、创建服务文件
创建一个服务文件/etc/systemd/system/ollama.service，文件中内容如下：
[Unit]Description=Ollama ServiceAfter=network-online.target[Service]Environment="OLLAMA_HOST=0.0.0.0:11434"ExecStart=/usr/ollama/bin/ollama serveUser=rootGroup=rootRestart=alwaysRestartSec=3[Install]WantedBy=default.target
这块本文使用Xshell自带的Xftp进行操作，先建好文件，上传到指定位置。
注意ollama.service的ollama可执行文件位置，要按照自己的去写，见下图红色方框内容，需要自定义
4、启动Ollama服务
让服务生效，然后启动Ollama。
systemctl daemon-reloadsystemctl enable ollamasystemctl start ollama
这时候，再输入如下命令：
ollama -v便会成功出现版本信息，不再报错。
大模型部署
1、大模型选择
可以到如下地址，选择大模型下载：
https://ollama.com/library/deepseek-r1本文使用1.5b模型，便可以使用命令：
/usr/ollama/bin/ollama run deepseek-r1:1.5b
至此安装成功，便可以在Xshell页面尝试与大模型进行对话。
Dify集成
由于服务器已经部署了Dify，这块就直接集成Dify，使Dify可以直接调用本机部署的DeepSeek进行工作。具体Dify部署，见文章：CentOS7 + Docker 部署 Dify 超详细图文教程，助力企业Agent应用上线
首先在Dify页面右上角选择“设置”。
在设置中，找到模型供应商-Ollama
安装插件：
安装完成后，刷新，在设置中就会有待配置的Ollama插件。
然后进行配置的填写。
填写后保存，点击工作室，创建空白应用。
这块为了快速上手，选择新手适用-聊天助手。
创建完成之后，在右上角选择添加好的DeepSeek R1模型：
至此，大模型已经部署完毕，且集成到Dify，可以本地化使用我们的DeepSeek大模型了。
扫一扫
2925
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
