卷积神经网络的高效处理与压缩编码技术

# 卷积神经网络的高效处理与压缩编码技术 ## 1. 卷积神经网络概述 在卷积神经网络（CNNs）的处理中，能耗和数据存储是重要的考量因素。RS 数据流因其最小的片外数据移动，成为最节能的方式。 ### 1.1 近内存处理 近内存处理技术通过减少片外数据移动和在内存中或附近执行计算来降低能耗。 - **嵌入式动态随机存取存储器（eDRAM）技术**：将高密度 DRAM 放置在加速器芯片上，实现更快的执行速度和最小的内存延迟。它的密度约为标准 SRAM 的 2.85 倍，能效比 DDR3 内存高 321 倍，但成本比标准 DRAM 内存高。 - **3D 内存技术（混合内存立方体，HMC）**：将 DRAM 堆叠在芯片顶部，提供比标准 2D 内存架构更高的带宽，减少传输延迟，提高处理单元（PE）利用率和计算吞吐量。像 Neurocube 和 Tetris 等工作就使用了 HMC 技术进行更快、更节能的 CNN 推理。 传统架构和近内存处理架构的对比如下： |架构类型|计算位置|数据传输开销| | ---- | ---- | ---- | |传统架构|CPU|CPU 和内存之间的数据传输开销大| |近内存处理架构|近内存加速器|CPU 和内存之间的数据传输远小于传统架构| mermaid 流程图如下： ```mermaid graph LR classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px A([传统架构]):::startend --> B(CPU 计算):::process B --> C(高数据传输开销):::process D([近内存处理架构]):::startend --> E(近内存加速器计算):::process E --> F(低数据传输开销):::process ``` ### 1.2 内存内处理 CNN 推理需要乘加（MAC）操作，将涉及 MAC 的简单计算引入内存本身可以消除数据移动的需求，从而显著降低能耗。例如，有人通过使用二进制权重（+1 和 -1）将 MAC 操作直接集成到 SRAM 阵列中，与标准的 1b SRAM 单元读取相比，可节省 12 倍的能量，但使用二进制权重会影响 CNN 的准确性。 ## 2. 压缩编码背景 压缩编码技术在许多应用中被广泛采用，它可以减少数据大小，降低内存和存储需求，还能减少计算量。压缩比的计算公式为：压缩比 = 原始数据大小 / 压缩后数据大小。压缩比越高，数据存储或内存使用效率越高，这对于资源受限的系统（如低功耗边缘设备）尤为重要。 压缩编码可分为有损压缩和无损压缩两大类： |压缩类型|适用场景|优点|缺点| | ---- | ---- | ---- | ---- | |有损压缩|对数据丢失有一定容忍度的应用|可降低元数据大小，通常能获得更好的压缩比，减少数据传输延迟、能量和计算复杂度|会造成数据丢失| |无损压缩|对数据完整性要求高的应用|可借助元数据完全恢复原始数据，无数据丢失|生成的元数据较多，压缩比通常低于有损压缩，解压缩时可能产生更多延迟和能量开销| mermaid 流程图如下： ```mermaid graph LR classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px A([原始数据]):::startend --> B{选择压缩类型}:: ```