学习笔记：在华为昇腾NPU上进行深度学习项目【未完待续】

风路丞

已于 2024-07-02 13:50:58 修改

阅读量5.3k

点赞数 10

CC 4.0 BY-SA版权

分类专栏：算法学习文章标签： NPU深度学习框架昇腾社区 onnx om模型

于 2024-01-15 18:32:00 首次发布

本文链接：https://blog.csdn.net/qq_19072921/article/details/135604524

在NPU上做深度学习算法

场景和功能说明
系统信息查询
- 1、场景一：非NPU上训练的模型推理

昇腾社区链接：昇腾社区-官网丨昇腾万里让智能无所不及
更新：大模型国产化适配8-基于昇腾MindIE推理工具部署Qwen-72B实战（推理引擎、推理服务化）

场景和功能说明

第一种：在cpu或gpu上训练的模型，但要在NPU上执行模型推理；
第二种：在NPU上同步训练、推理。

系统信息查询

中括号里的为查询结果示例。
– 查看系统架构：uname -a [aarch64，也称arm64]
– 查看操作系统版本：lsb_release -a [Ubuntu 22.04.3 LTS]
– 查看npu芯片型号：npu-smi info [Ascend310B4]
– 查看npu id：npu-smi info -l
– 查看Atlas产品型号：npu-smi info -t product -i <npu id> [Atlas 200I A2]

1、场景一：非NPU上训练的模型推理

此种使用场景下，cpu或gpu上训练的模型无法直接在nup上执行推理，需要先把训练好的模型转换成.om离线模型，才可以在NPU上执行后续的推理。

1.1 执行方案

step1：在已安装CANN开发环境的机器上，把cpu或gpu上训练的模型转换成.onnx格式或 pd格式
step2：在安装CANN运行环境的机器上，把onnx格式转om格式。
对应CANN开发环境、运行环境的区别、安装方法见官方文档：CANN软件安装

1.2 学习案例

① 官方gitee项目-支持tensorflow、pytorch的模型转换这里已经集成了多种开源模型从初始模型 —> onnx模型 —> om模型的转换操作步骤和对应代码。

第一阶段：模型转onnx需要写代码完成；

第二阶段：.onnx转.om使用atc命令完成，无须写代码。

② 仅onnx模型 —> om模型的转换案例：昇腾社区简单ATC转换案例
③ om模型的推理应用案例这里的快速链接是昇腾社区下pytorch的应用案例，昇腾社区也集成了其他训练框架的应用案例，可自行查看。
④ 其他网友的分享：[推理部署]🌔ONNX推理加速技术文档-杂记