AI编译器技术剖析（一）-概述

近年来，AI应用程序已经无处不在。比如：智能家居设备由自然语言处理（NLP）和语音识别模型驱动，自动驾驶技术以计算机视觉模型为支柱。通常这些AI模型会部署在云平台、专用计算设备以及物联网传感器的内置微型芯片。

因此，我们在进行AI应用落地时，需要将AI模型从研发阶段转而部署到多种多样的生产环境，同时，也需要相当多的繁重工作。即使对于我们最熟悉的环境（例如：在 GPU 上），部署包含非标准算子的深度学习模型仍然需要大量的工程。而为了解决这些繁琐的问题，AI 编译器应运而生。

本系列将分享 AI 编译器的技术原理，本文为该系列第一篇文章，将简要介绍 AI 编译器诞生的背景、与传统编译器的区别、AI 编译器前后端等。

AI 编译器产生的背景

早期神经网络部署的侧重点在于框架和算子库。神经网络由数据流图来表示，图上的节点就是算子（比如：Conv2D、BatchNorm、Softmax），节点之间的连接代表 Tensor。由于数据流图很直观，很多框架的 Runtime 采用了类似 Caffe 的方式，运行时通过一定的顺序（例如：直接 Post-Order DFS）分配 Tensor、调用算子库就行了，优化重点在于优化算子库的性能。

随着时间的发展，这种直观的部署方式，也逐渐暴露出一些问题。

• 越来越多的新算子被提出，算子库的开发和维护工作量越来越大。比如：提出一个新的 Swish 算子，算子库就要新增 Swish 的实现，还要有优化、测试。Swish 由一些基础的一元、二元算子组成。
• NPU 的爆发导致模型性能可移植性成为一种刚