超级会员免费看
本文介绍了如何在PyTorch中为仅输入、输入与权重的模块创建量化包装器，以及如何直接在计算图中量化输入。通过示例详细讲解了量化池化模块、量化线性模块的实现，并提供了不创建包装器直接在图中量化输入的方法。
Creating Custom Quantized Modules
量化工具提供了几个量化的模块，如下所示：
QuantConv1d，QuantConv2d，QuantConv3d，pentConvtranspose1d，pentConvtranspose2D，pentConvTranSpose3D
QuantLinear
QuantAvgPool1d，QuantAvgPool2D，QuantAvgPool3D，Quantmaxpool1d，QuantMaxPool2D，QuantMaxPool3D
要量化模块，我们需要量化输入和权重（如果存在）。以下是3个主要用例：
- 为只有输入的模块创建量化包装器
- 为具有输入和权重的模块创建量化包装器。
- 直接将 TensorQuantizer 模块添加到模型图中操作的输入。
如果需要自动用量化版本替换原始模块（图中的节点），前两种方法非常有用。当需要在非常特定的位置手动将量化添加到模型图中时（更多手动，更多控制），第三种方法可能很有用。
让我们通过下面的示例来了解每个用例。
Quantizing Modules With Only Inputs
一个合适的例子是量化池模块变体。
本质上，我们需要提供一个包装函数，它接受原始模块并在其周围添加 TensorQuantizer 模块，以便首先对输入进行量化，然后将其输入原始模块。
通过对原始模块 (pooling.MaxPool2d) 以及实用程序模块 (_utils.QuantInputMixin) 进行子类化来创建包装
订阅专栏 解锁全文
扫一扫
759
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
