深度学习模型部署框架之ONNX Runtime

0 前言

本文是深度学习模型部署框架的第一篇，更多部署框架可以查看本专栏的其他文章。

1 简介

概念：onnx一种开源模型格式，专注于推理所需的能力。同时，它还是一个中间深度学习框架，用于连接不同深度学习框架之间的转换。
优势：跨平台兼容性好；性能优化；支持多种框架。
坑点：onnx只是一个格式，就和json一样，只要满足规则，就是合法的。因此单纯从pytorch转成onnx格式很简单，但是不同后端框架接受的onnx是不一样的。比如pytorch自带的torch.onnx.export转换得到的onnx，onnxruntime 需要的onnx，TensorRT需要的onnx都是不同的，因此这才是坑的来源。

2 模型准备

2.1 导出模型为onnx格式

• 使用模型转换工具，torch.onnx.export和tf2onnx

# pt->onnx
# 示例数据
dummy_input = torch.randn(1,1, 16000*5)  # 只有第三个维度可能会变化，前两个都不会变
# 导出模型为 ONNX 格式
torch.onnx.export(
    model,                   # PyTorch 模型
    dummy_input,             # 示例输入
    "denoiser_model_12_3_3_dongtai_5s.onnx",  # ONNX 文件的保存路径
    input_names=['input'],   # 输入层的名字
    output_names=['output'], # 输出层的名字
    dynamic_axes={
   
   
        'input': {
   
   2: 'audio_length'