如何在银河麒麟操作系统上本地部署DeepSeek

最新推荐文章于 2025-06-15 14:24:28 发布

原创最新推荐文章于 2025-06-15 14:24:28 发布 · 1.2k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#银河麒麟 #国产信创运维 #deepseek #AI

银河麒麟专栏收录该内容

29 篇文章

订阅专栏

前言

嘿，各位技术圈的“炼丹师”和“调参侠”们！最近是不是被国产AI大模型和国产化系统的“双厨狂喜”组合馋得心痒痒？DeepSeek这位“AI界学霸”遇上银河麒麟服务器这位“国产操作系统扛把子”，本以为能上演一场“强强联合”的爽文剧情，结果一上手才发现——依赖冲突像迷宫，环境配置像拆盲盒，硬件适配更是像在玩“俄罗斯方块”……（别慌，这是90%技术人都会踩的坑！）

不过别怕！本文就是你的“避坑地图+通关秘籍”，手把手带你从环境搭建到模型部署，从依赖打架到性能起飞，把DeepSeek稳稳“驯服”在银河麒麟的“地盘”上。无论是想在国产化浪潮里秀一把技术肌肉，还是单纯想给公司省点云服务预算，这篇教程都能让你少掉几根头发，多几分成就感！

一、环境准备

1.国产系统环境

为了提升DeepSeek的性能和算力，推荐在银河麒麟服务器操作系统环境进行部署。

[root@localhost ~]# nkvers 
############## Kylin Linux Version #################
Release:
Kylin Linux Advanced Server release V10 (Halberd)

Kernel:
4.19.90-89.11.v2401.ky10.x86_64

Build:
Kylin Linux Advanced Server
release V10 SP3 2403/(Halberd)-x86_64-Build20/20240426
#################################################
[root@localhost ~]#

2、升级gcc版本

目前银河麒麟服务器操作系统默认的gcc版本为7.3.0，而安装使用ollama需要GLIBCXX_3.4.25，版本过低会导致allama无法使用。

升级gcc版本请参考本人的此篇文章：银河麒麟服务器系统升级安装gcc-CSDN博客

3、下载ollama安装包

下载地址：https://github.com/ollama/ollama/releases/tag/v0.5.7

可能需要梯子访问，如果有困难的兄弟们大佬们可以私信小编要。

二、安装配置ollama

1.安装方式一（官方脚本在线安装）

①访问ollama官网获取脚本安装指令：Download Ollama on Linux

②银河麒麟服务器操作系统终端执行指令安装ollama：


[root@localhost ~]# curl -fsSL https://ollama.com/install.sh | sh
>>> Cleaning up old version at /usr/local/lib/ollama
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
######################################################################## 100.0%
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.
[root@localhost ~]#

耐心等待，安装时间大概半小时左右

2.安装方式二（手动安装）

①将安装包上传到服务器然后解压：

[root@localhost ~]# tar -C /usr -xzf ollama-linux-amd64.tgz

②添加ollama作为service启动服务

为ollama创建用户和组：

useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
usermod -a -G ollama $(whoami)

在/etc/systemd/system/ollama.service创建服务文件：

[root@localhost ~]# vim /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

[Install]
WantedBy=multi-user.target

默认情况下，ollama仅在本地运行，不对外提供服务，要使ollama服务能够对外提供服务，需要设置一下两个环境变量。

然后启动服务：

systemctl daemon-reload  # 加载服务文件配置
systemctl enable ollama  # 设置服务开机自启
systemctl start ollama

三、下载安装DeepSeek-R1模型

本文以deepseek-r1:1.5b为例：

[root@localhost ~]# nkvers 
############## Kylin Linux Version #################
Release:
Kylin Linux Advanced Server release V10 (Halberd)

Kernel:
4.19.90-89.11.v2401.ky10.x86_64

Build:
Kylin Linux Advanced Server
release V10 SP3 2403/(Halberd)-x86_64-Build20/20240426
#################################################

[root@localhost ~]# ollama run deepseek-r1:1.5b
pulling manifest 
pulling aabd4debf0c8... 100% ▕██████████████████████████████████████████████████████████████████████▏ 1.1 GB                         
pulling 369ca498f347... 100% ▕██████████████████████████████████████████████████████████████████████▏  387 B                         
pulling 6e4c38e1172f... 100% ▕██████████████████████████████████████████████████████████████████████▏ 1.1 KB                         
pulling f4d24e9138dd... 100% ▕██████████████████████████████████████████████████████████████████████▏  148 B                         
pulling a85fe2a2e58e... 100% ▕██████████████████████████████████████████████████████████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
success

测试验证：