Transformer模型量化Quantization 笔记

模型参数与显存占用计算基础

        为了详细说明模型的参数数量和每个参数在显存中占用的空间大小，我们以 facebook OPT-6.7B 模型为例。 逐步推理计算过程：

        1. 估计参数总量：OPT-6.7B 模型指一个含有大约 6.7 Billion（67亿）个参数的模型。

        2. 计算单个参数的显存占用：OPT-6.7B 模型默认使用 Float16，每个参数占用16位（即2字节）的显存。

        3. 计算总显存占用 = 参数总量 × 每个参数的显存占用。 代入公式计算：

                                67亿参数×2字节/参数=134亿字节=13.4×109字节

        4. 换算单位：1GB = 230B ≈ 109 字节

                                综上，OPT-6.7B 以 float16 精