华为昇腾部署 DeepSeek-R1 (671B) 大模型实战指南

概述

本指南详细讲解如何在华为昇腾Atlas 800I A2服务器集群上部署DeepSeek-R1 671B大模型，涵盖从环境准备到服务化部署的全流程。通过本教程，您将掌握：

• 模型权重转换与量化方法
• 昇腾专用镜像的使用技巧
• 多机分布式推理配置
• 生产级服务化部署方案

一、部署前准备

1.1 硬件要求

1.2 软件环境

# 关键组件版本
MindIE 2.0.T3
CANN 8.0.T63
PTA 6.0.T700
HDK 24.1.0

二、模型权重处理

2.1 权重下载

# 官方权重库
wget https://huggingface.co/deepseek-ai/DeepSeek-R1
wget https://huggingface.co/deepseek-ai/DeepSeek-R1-Zero

国内可以通过魔搭社区快速下载

• DeepSeek-R1
• DeepSeek-R1-Zero

modelscope 魔搭社区模型下载指南

2.2 格式转换

GPU侧转换：

git clone https://github.com/deepseek-ai/DeepSeek-V3.git
cd DeepSeek-V3/inference/
python fp8_cast_bf16.py \
  --input-fp8-hf-path ./DeepSeek-R1 \
  --output-bf16-hf-path ./deepseek-R1-bf16

NPU侧转换：

git clone https://gitee.com/ascend/ModelZoo-PyTorch.git
cd ModelZoo-PyTorch/MindIE/LLM/DeepSeek/DeepSeek-V2/NPU_inference
python fp8_cast_bf16.py \
  --input-fp8-hf-path ./DeepSeek-R1 \
  --output-bf16-hf-path ./deepseek-R1-bf16

💡 转换后权重约1.3TB，确保存储空间充足

三、昇腾镜像配置

3.1 镜像获取

1. 访问昇腾镜像仓库
2. 下载：mindie_2.0.T3-800I-A2-py311-openeuler24.03-lts-aarch64.tar.gz​
3. 加载镜像：

docker load -i mindie:2.0.T3-800I-A2-py311-openeuler24.03-lts-aarch64

3.2 容器启动

1. 准备模型

目前提供的MindIE镜像预置了DeepSeek-R1模型推理脚本，无需再下载模型代码，也无需参考目录结构。（可跳过至获取模型权重）

• 下载对应模型代码，可以使用：

git clone https://gitee.com/ascend/ModelZoo-PyTorch.git

目录结构应为如下：

├── DeepSeek-R1
│   ├── README.md

• 获取模型权重

  • 本地已有模型权重 从您信任的来源自行获取权重后，放置在从上述下载的模型代码的主目录下，放置后的目录结构应为如下：

    ├── DeepSeek-R1
    │   ├── README.md
    │   └── 权重文件1
    │   .   
    │   .
    │   └── 权重文件n
    

  • 本地没有模型权重 我们提供模型权重下载脚本，支持HuggingFace，ModelScope以及Modelers来源的模型下载，用法如下
    注意：以下引用的atb_models​路径在DeepSeek-V2​路径下

    1. 确认atb_models/build/weights_url.yaml​文件中对应repo_id，当前已默认配置模型官方认可的下载地址，如您有其他信任来源的repo_id，可自行修改，默认配置如下：

    HuggingFace: deepseek-ai/DeepSeek-R1
    ModelScope: deepseek-ai/DeepSeek-R1
    Modelers: None
    <