香橙派rk3588的实时关键点检测多线程推理的资源占用率测试

一、演示视频相关场景与功能

1. 常见场景
输入拉流 RTSP → 推理 → 输出 RTSP 流服务

2. 具体功能模块

• 拉流 RTSP：使用 FFmpeg 实现，解封装 H264，配置 RTSP over TCP 保证传输稳定。
• 解码：通过 MPP 解码实现，将 H264 解码为 NV12 图像。
• 预处理：
  • 目标：减少 CPU 占用、提高帧率，优先使用 RGA 而非 OpenCV。
  • 核心操作：放缩、NV12 转 RGB，采用 Letterbox 方式（宽高等比放缩、黑边填充、图像居中，需位移填充和坐标处理）。
  • 注意事项：RGA 使用需参考官方文档（如限定 RGA3 核、使用专用内存分配器，避免 4G 内存报错、图像抖动等问题）。
• 推理：
  • 多线程策略：为每个 NPU 核分配独立线程，轮流输入图像推理。
  • 模型：官方例程 Yolov8n-pose，未做修改以对比部署性能。
• 后处理：
  • 功能：NMS 过滤、画框画点线（CPU 实现，直接在 NV12 图像上操作，减少格式转换耗时），暂未实现标签打标。
  • 优化点：理论上可尝试 RGA 画框，但因像素处理量小，CPU 画框通常更快（目标过多时需实测验证）。
• 编码：通过 MPP 编码实现，将 NV12 图像编码为 H264。
• RTSP 流服务：使用开源项目rtsp_demo，封装 H264 为 RTSP 流供外部拉流。

二、测试环境与配置

• 测试视频：
  • 分辨率：1080×1920，帧率：30fps，码率：2793kbps。
  • 来源：B 站视频（UP 主：麻辣纪子），PC 推流至 RK3588。
• 播放工具：PC 端使用 VLC 拉流 RTSP。

三、资源占用率数据