极智AI | 谈谈非线性激活函数的量化方式

神经网络量化入门系列第七篇：激活函数

sigmoid, tanh, 量化推理 简介 在嵌入式设备，ARM的M系列，或者存硬件实现网络的推理，这时就需要所有的运算都需要用int型（int8，int15）或者自定义的数据类型。这里包括常见的conv2d，devconv2d…等算子，relu，prelu，sigmoid，tanh等非线性激活函数。 预备知识 神经网络的量化 负数补码 sigmoid/tanh量化推理 这里我们以ARM的CMSIS_5中的代码进行原理和代码的解说。 1. 查表法 sigmoid，tanh及类似的非线性激活函数都是.

qwen3模型量化实践 论文链接：https://arxiv.org/pdf/2505.02214 项目链接：https://huggingface.co/collections/Efficient-ML/qwen3-quantization-68164450decb1c868788cb2b 结论： 权重量化的影响：在8比特时，Qwen3始终保持接近无损的性能，表明高比特量化在实际部署中仍具有很大潜力 激活值量化的影响： 大型模型可能对激活量化特别敏感，可能是由于激活值异常导致的显著性能下降 在应用经典

线性量化：q=x*s+z。非线性量化，如log。相比来说，非线性量化理论上精度更高（仍然实际不一定），但是实现难度更大。实践中大多都采用线性量化方案。

大家好，我是极智视界，本文剖析一下ACIQ 对称量化算法实现，以 Tengine 的实现为例。

极智量化是一款基于云端的智能量化交易平台，提供了便捷的开发环境和丰富的金融数据支持。其平台特性使用户可以快速开发、回测、优化和部署量化策略，适合从初学者到专业量化团队使用。以下是一个基于极智量化平台的开发与回测实例，展示如何构建和优化简单的均线策略。

因为激活值通常分布不均匀，直接使用非饱和量化会使得量化后的值都挤在一个很小的范围从而浪费了INT8范围内的其他空间，也就是说没有充分利用INT8（-128~+127）的值域；上图的激活值统计针对的是一批图片，不同图片输出的激活值不完全相同，所以图中是多条曲线而不是一条曲线，曲线中前面一部分数据重合在一起了。一般认为量化之后的数据分布与量化前的数据分布越相似，量化对原始数据信息的损失也就越小，即量化算法精度越高。这个是tensorRT的量化方案，可以看出饱和与非饱和是可以与对称、非对称结合的。

本文介绍来自华为诺亚方舟实验室、清华大学和香港中文大学联合在大语言模型量化上的最新工作 **FlatQuant (Fast and Learnable Affine Transformation)**。FlatQuant 通过为每个线性层适配轻量的可学习的仿射变换，有效平滑 LLM 离群值，得到更加平坦的权重和激活值分布，有效降低量化损失。相比此前的量化方法 [1][2]，本方法首次在 **LLaMA-3-70B 上达到 W4A4

确实突破策略是通过判断资产的价格是否突破了其历史的价格范围来决策买入或卖出的策略。当价格突破其历史上观察到的最高价或最低价时，策略将该资产买入。当价格跌破历史上观察到的最高价或最低价时，策略将该资产卖出。在这个示例代码中，我们使用了Pandas库对数据进行预处理，并通过计算收盘价的最高价和最低价创建了买入和卖出信号。量化交易趋势突破策略是指：根据资产的价格走势和一定的技术指标（如移动平均线、波动率等），对资产的价格是否突破上下轨进行判断，并进行买入或卖出的操作。

其核心思想是将模型中的浮点数参数（通常是32位浮点数）转化为低精度的数值表示（如8位、16位整数等），也就是说，使用更少的bit来存储原本以浮点数存储的tensor，以及使用更少的bit来完成原本以浮点数完成的计算。但是如果你的GPU无法处理如此大的模型，那么从GPTQ开始切换到以cpu为中心的方法(如GGUF)是绝对值得的。AWQ和GPTQ作为方法有几个不同之处，但最重要的是AWQ假设并非所有权重对LLM的性能都同等重要，也就是说在量化过程中会跳过一小部分权重，这有助于减轻量化损失。

量化公式中的r表示原来的浮点值，Q表示量化后的整型数据，s表示缩放因子，是量化相关的参数。网络中值的分布往往是不均匀的，更多的是类似高斯分布的形式。非对称量化表示的范围没有严格的限制，可以根据浮点值的范围，选取任意的想要表示的范围。网络中的值往往不是均匀分布的，大部分是中间多两边少的“钟”型分布，此外还可能存在一些离群点，如果量化要表示所有的浮点值，反而可能会降低量化的精度。：对称量化中浮点值的零点直接映射到量化值的零点，因此不需要其他参数来调整零点的映射的位置，与量化相关的参数只有缩放因子s。

中的是将 FP32（浮点 32 位）中的数据转换为 INT8（整数 8 位）等较小 欢迎来到。机器学习（ML ML）中的是将 FP32（浮点 32 位）中的数据转换为 INT8（整数 8 位）等较小精度的过程，并执行 INT8 中的卷积等所有关键操作，最后将较低精度的输出转换为 FP32 中的更高精度。这听起来很简单，但你可以想象，将浮点数转换为整数会导致错误，而错误会随着计算而增加，因此保持准确性至关重要。在量化中，准确度在原始准确度的 1% 以内。

量化是一种常用的模型压缩方法，它通过将模型中的浮点数参数转换为低精度的整数或定点数参数来减少模型的计算量和存储空间。基于softmax的蒸馏是一种常用的蒸馏方法，它通过将教师模型的softmax输出作为学生模型的辅助信息，来指导学生模型的学习。基于注意力的蒸馏是一种常用的蒸馏方法，它通过将教师模型的注意力权重作为学生模型的辅助信息，来指导学生模型的学习。常见的剪枝方法包括结构化剪枝和非结构化剪枝。基于特征的蒸馏是一种常用的蒸馏方法，它通过将教师模型的中间层特征作为学生模型的辅助信息，来指导学生模型的学习。

可以将熵看作数据中所包含的信息量，当熵最大时，数据中的每个元素都是等概率出现的，难以从中获得有用的信息；如果硬币是公平的，即正面和反面的概率均为0.5，那么熵最大，因为我们无法确定硬币会落在哪一面，信息量最大。另一方面，如果硬币是偏向正面的，例如正面的概率为0.9，那么熵较小，因为我们可以预期硬币更有可能落在正面。激活函数是机器学习和深度学习中的一种非线性函数，它被应用于神经网络的隐藏层或输出层，用于引入非线性变换和增加网络的表达能力。相反，如果数据的可能取值越少，即数据的分布越集中，熵就越小。

模型量化是什么？ 模型量化是由模型、量化两个词组成。我们要准确理解模型量化，要看这两个词分别是什么意思。 在计算机视觉、深度学习的语境下，模型特指卷积神经网络，用于提取图像/视频视觉特征。 量化是指将信号的连续取值近似为有限多个离散值的过程。可理解成一种信息压缩的方法。在计算机系统上考虑这个概念，一般用“低比特”来表示。也有人称量化为“定点化”，但是严格来讲所表示的范围是缩小的。定点化特指scale为2的幂次的线性量化，是一种更加实用的量化方法。 .........