Linux 和 Windows 查看当前运行的 python 进程及 GPU、CPU、磁盘利用率

GPU 利用率低通常表现为 GPU 在采样周期内执行 kernel 的时间占比较低，这可能由多个因素导致。以下是一些常见原因及对应的优化方法。 ### 1. 数据传输瓶颈 当 CPU 向 GPU 传输数据的速度较慢时，会导致 GPU 等待数据，从而降低利用率。此外，GPU 内部不同内存层次之间的数据迁移也可能成为瓶颈。 - **优化方法**： - 使用异步数据传输技术（如 CUDA 流）[^1]。 - 尽量减少主机与设备之间的数据交换频率。 - 对于频繁访问的数据，尽量将其保留在 GPU 显存中。 ### 2. Kernel 执行效率低下 如果每个 kernel 的计算密度不够高或者并行化程度不足，则无法充分利用 GPU 的计算资源。 - **优化方法**： - 增加每个线程块中的线程数量以提高并行度。 - 调整网格和块的大小，使得 workload 更均匀地分布在所有 SM 上。 - 提高指令级并行性 (ILP)，通过展开循环等手段增加单个 warp 内部的操作数。 ### 3. 计算资源未充分调度 即使有大量任务等待处理，但如果调度器未能有效地将这些任务分配给可用的 SM，也会造成 GPU 利用率下降。 - **优化方法**： - 确保有足够的并发工作负载来保持所有 SM 活跃。 - 避免长时间运行的任务独占某些 SM，影响其他任务的执行[^1]。 ### 4. 存储带宽限制 显存带宽是决定 GPU 性能的关键因素之一。若程序对显存带宽的需求超过了硬件所能提供的最大值，则会显著拖慢整体执行速度。 - **优化方法**： - 减少全局内存访问次数，尽可能使用共享内存或寄存器进行中间结果缓存。 - 对齐内存访问模式，利用 coalesced memory access 特性提升带宽利用率。 ### 5. I/O 或外部依赖延迟 除了上述内部因素外，外部系统组件如磁盘读写、网络通信等也会影响 GPU 的实际运行效率。 - **优化方法**： - 实施预取策略，在后台提前加载后续需要的数据到 GPU 显存中。 - 利用多线程或多进程架构分离 I/O 密集型与计算密集型任务。 ```python # 示例：使用 PyTorch 进行异步数据传输 import torch device = torch.device("cuda") data = torch.randn(1000, 1000).to(device) # 默认同步传输 # 异步传输示例 stream = torch.cuda.Stream() with torch.cuda.stream(stream): async_data = data.clone().detach().to(device=device, non_blocking=True) ``` 以上仅为部分原因及其解决方案概述，具体实施还需结合实际情况深入分析。对于特定应用场景，可能还需要进一步调整参数设置或重构算法结构以达到最佳效果。