ROCm项目中的MI300与MI200系列GPU性能计数器详解

ROCm项目中的MI300与MI200系列GPU性能计数器详解

概述

在GPU性能分析与优化领域，性能计数器(Performance Counters)是开发者了解硬件运行状态的重要工具。AMD ROCm平台为MI300和MI200系列GPU提供了全面的性能计数器支持，这些计数器能够精确测量GPU各个功能模块的运行状态，帮助开发者识别性能瓶颈并进行针对性优化。

性能计数器分类

MI300和MI200系列的性能计数器按照功能模块分为以下几大类：

1. 命令处理器(Command Processor)计数器

命令处理器是GPU的"大脑"，负责解析和执行来自CPU的命令。其计数器分为两类：

命令处理器-取指器(CPF)计数器：

• 测量取指器在忙、空闲和停顿状态下的周期数
• 跟踪统一转换缓存(L1)等待翻译的停顿周期
• 监测纹理缓存接口单元的忙闲状态

命令处理器-计算(CPC)计数器：

• 记录微引擎解码数据包的忙周期
• 测量命令处理器计算单元的整体活动状态
• 跟踪L2统一转换缓存接口的活动情况

2. 图形寄存器总线管理器(GRBM)计数器

GRBM计数器提供GPU整体活动的宏观视图：

• 记录GPU总运行周期和活跃周期
• 监测各主要模块(CP、SPI、TA、TC等)的忙闲状态
• 包括效率仲裁器(Efficiency Arbiter)的活动情况

3. 着色器处理器输入(SPI)计数器

SPI计数器关注计算着色器的调度和执行：

• 跟踪派发的工作组和波前数量
• 测量资源分配情况(寄存器、LDS空间等)
• 记录各种原因导致的停顿周期
• 监测波前初始化VGPR和SGPR所需的时间

4. 计算单元(CU)计数器

计算单元是GPU执行计算任务的核心，其计数器最为丰富：

指令混合(Instruction Mix)

• 统计各类指令的发射数量
• 区分VALU(向量ALU)、SALU(标量ALU)、内存指令等
• 细分不同精度(F16/F32/F64)的算术运算
• 特别关注矩阵融合乘加(MFMA)指令

矩阵融合乘加(MFMA)操作

• 测量不同数据类型(8位整型、F16、BF16、F32、F64)的MFMA操作数量
• 以512为基本单位统计操作数

层级(Level)计数器

• 跟踪在途波前和指令数量
• 配合SQ_ACCUM_PREV_HIRES可计算各类延迟
• 包括向量内存、标量内存、LDS和指令获取的延迟

波前(Wavefront)计数器

• 统计派发的波前总数
• 区分不同活跃线程数的波前(64、48、32、16等)
• 记录上下文保存和恢复的波前数量

波前周期(Wavefront Cycle)计数器

• 测量计算单元的各种活动周期
• 区分不同指令类型的活跃周期
• 跟踪等待周期和忙闲状态

5. 缓存系统计数器

包括L1指令缓存、标量L1数据缓存、向量L1缓存子系统和L2缓存的访问计数器，用于分析缓存命中率和内存访问效率。

性能计数器使用建议

1. 定位瓶颈：通过GRBM计数器快速识别哪个模块最繁忙，然后深入该模块的详细计数器

2. 指令分析：使用CU的指令混合计数器了解计算密集型还是内存密集型

3. 延迟测量：结合层级计数器和SQ_ACCUM_PREV_HIRES计算各类操作延迟

4. 资源利用率：通过波前计数器评估SIMD利用率，优化工作组大小

5. MFMA优化：利用矩阵运算专用计数器评估计算单元使用效率

注意事项

1. 部分计数器(标有*)仍在验证中，数据可能不准确

2. MI300和MI200在某些计数器行为上存在差异(如LDS计数是否包含flat指令)

3. 使用层级计数器计算延迟时必须配合SQ_ACCUM_PREV_HIRES

4. 不同精度和类型的MFMA操作使用不同的计数单位

结语

ROCm提供的MI300/MI200性能计数器体系为开发者提供了深入洞察GPU内部运行状态的窗口。合理利用这些计数器数据，可以系统性地分析和优化GPU应用程序性能，充分发挥AMD计算单元的计算潜力。建议开发者结合ROCm Profiler工具，将这些底层计数器数据转化为直观的性能分析报告。