ONNX 是什么

ONNX 是什么？

• ONNX，全称 Open Neural Network Exchange，是微软和 Facebook（现在的 Meta）联合发起的一个开放的神经网络模型交换格式。
• 简单理解：ONNX 是一个通用的「AI 模型存档格式」。
• 用 PyTorch、TensorFlow、Scikit-learn 等不同框架训练出来的模型，都可以转换成 ONNX 格式，这样就可以跨框架、跨平台部署。

ONNX Runtime 是什么？

• ONNX Runtime 是微软开发的一个高效的跨平台推理引擎，用于在任何设备上执行 ONNX 模型。
• 你可以把它理解成一个专门用来跑（执行）ONNX AI 模型的「播放器」。

ONNX Runtime 的核心特性

ONNX Runtime 用在哪里？

📌 典型应用场景：

• 📱 移动端：比如手机 App 里做本地人脸识别、语音识别。
• 💻 桌面端：WinForms/WPF/Qt 程序集成智能功能（如 AI 识别、分类）。
• 🌐 云端推理服务：用作高效推理后端，支持 RESTful API。
• 🔌 IoT/边缘：嵌入到可穿戴设备、边缘网关，做本地 AI 推理。

✅ 一个简单示意图

PyTorch / TensorFlow
  |
  | 训练模型
  ↓
ONNX (导出模型)
  ↓
ONNX Runtime (多平台运行)
  ↓
C# / Python / Java / JS 调用

为什么选 ONNX Runtime？

1️⃣ 不用在生产环境里把 Python 部署进去
2️⃣ 不用担心 CUDA、TF/PyTorch 版本冲突
3️⃣ 模型一次训练，多处使用
4️⃣ 非常适合嵌入到 WinForms、WPF、ASP.NET Core 项目里

一句话总结

ONNX Runtime = 一个跨平台、跨框架、跨语言的 AI 模型执行器。

训练交给 PyTorch，运行交给 ONNX Runtime！