PRUNING-卷积神经网络剪枝

PRUNING CONVOLUTIONAL NEURAL NETWORKS FOR RESOURCE EFFICIENT INFERENCE --- 基于资源高效推理的裁剪卷积神经网络

这篇论文来自NVIDIA，2017年发表的。与network-slimming一样通过结构化剪枝方法进行通道剪枝，核心思想就是移除一些冗余的channel，从而简化模型。当删减某些通道的同时也裁剪了卷积核中与这些通道对应的卷积核，因此通过剪枝能够减少卷积的运算量，也可以叫做卷积核剪枝。

进行通道剪枝，最重要的便是进行通道重要性判断，与network-slimming使用BN进行通道重要性判断的方法不同，本文提出了一种新的对神经网络中卷积核进行剪枝的算法以实现高效推理。

主要贡献

论文中提出了一种用于修剪神经网络中的卷积核的新公式，以实现有效的推理。
论文中提出了一个基于泰勒展开的新准则，用它去近似由于修剪网络参数引起的损失函数的变化。

与其他标准(例如，对用于细粒度分类的大型CNN使用卷积核或特征图的范数进行剪枝只使用了一阶梯度信息)相比，本文提出的标准性能更好。

实验表明，本文算法在理论上可以在基本不影响模型准确率的情况下将3D卷积滤波器的大小压缩超过10倍，本文的算法也适用于基于ImageNet数据集训练的模型。

剪枝算