视频图像质量分析与人体姿态评估技术研究

# 视频图像质量分析与人体姿态评估技术研究 ## 1. 视频帧抖动抑制技术 ### 1.1 帧偏移确定 通过取一组运动向量的中位数来确定帧偏移。对于一系列帧，可得到一组偏移量 \(T_i = (\Delta x_i, \Delta y_i, 0, 0)\)。为去除抖动，对 \(\Delta x_i\) 和 \(\Delta y_i\) 应用平均滤波器，得到无抖动的偏移 \(T_i^*\)，平均滤波器的系数 \(h[n]\) 定义如下： \[ h[n] = \begin{cases} \frac{1}{L} & n = 0, L - 1 \\ 0 & \text{其他} \end{cases} \] ### 1.2 抖动抑制方法 帧抖动抑制是通过将每一帧按平滑偏移与原始帧视频偏移的差值进行移动来实现的，即 \(T_i^* - T_i\)。不过，这种方法较为简单，效果并不理想，且无法检测旋转。 ### 1.3 基于特征点的帧抖动抑制算法 有多种特征跟踪方法，通常分为两个步骤： 1. **特征选择**：选择具有特定属性的点，一般在图像高度不均匀的区域附近选取。 2. **确定相邻帧间奇异点的位移**：以 Kanade - Lucas - Tomasi (KLT) 关键点匹配方法为例，对于每个点，计算： \[ g(x, y) = \begin{bmatrix} \frac{dY(x, y)}{dx} & \frac{dY(x, y)}{dy} \end{bmatrix} \] 该式反映了点附近图像沿 \(Ox\) 和 \(Oy\) 方向的变化程度。接着，对于每个点 \((x_0, y_0)\)，考虑其邻域 \(W(x_0, y_0)\)，并计算矩阵 \(Z\)： \[ Z = \iint_{W(x_0,y_0)} g \cdot g^T dxdy = \iint_{W(x_0,y_0)} \begin{bmatrix} \frac{d^2I}{dx^2} & \frac{d^2I}{dxdy} \\ \frac{d^2I}{dxdy} & \frac{d^2I}{dy^2} \end{bmatrix} dxdy \] 求出矩阵 \(Z\) 的特征值 \(\lambda_1\) 和 \(\lambda_2\)，若它们大于给定阈值，则该点 \((x_0, y_0)\) 被视为奇异点。 ### 1.4 奇异点偏移确定 选择奇异点的某个邻域，通过在后续帧中寻找与所选邻域最相似的区域来确定偏移。 ### 1.5 图像质量分析 电视图像的视觉质量受众多参数影响，目前尚无通用的量化评估方法。图像的主要质量特征包括几何形状、相对尺寸、可分辨细节、亮度和颜色分布以及物体相对运动的感知等。 ## 2. 基于图形运动方案的人体姿态估计方法 ### 2.1 人体姿态估计概述 人体姿态估计是计算机视觉中图像分割问题的一个特例，旨在检测图像或视频中人体各部分的运动。人体位置通常与关节（如肩部、肘部、手臂、臀部、膝盖、脚部）和其他关键点（如颈部、头部）相关联。该任务可分为二维和三维两种情况，也可细分为单人姿态估计和多人姿态估计。 ### 2.2 二维和三维姿态评估方法 - **二维估计**：在 RGB 图像中，为每个关节分配二维位置坐标 \((x, y)\)。 - **三维估计**：例如使用 Position Estimator，根据 RGB 图像坐标 \((x, y, z)\) 估计近似的三维位置。 ### 2.3 运动图创建方法 一种基本的运动图创建方法是基于三维空间中关节点形成图像骨架。其主要思想是在图像中找到“身体标记”，即关节形式的身体主要部分。找到合适的数据集是研究的重要环节。 ### 2.4 基于深度学习的人体姿态预测 早期使用深度神经网络（DeepPose）基于回归解决人体姿态预测问题。DeepPose 通过给定关节、裁剪有人体的区域、重新计算并归一化关节坐标相对于裁剪像素区域中心的位置，来确定单个人体的姿态。 ### 2.5 二维和三维人体姿态估计现状 由于计算机视觉研究的活跃和大量数据集的收集，二维人体姿态估计借助强大的深度学习技术取得了显著进展。然而，三维人体姿态估计的性能仍不尽如人意，主要原因是缺乏足够的三维数据集。 ### 2.6 图像连续性和轨迹评估 通过自上而下和自下而上的处理不断迭代评估图像的连续性及其轨迹，有助于网络在早期捕获高级特征，并在后期进行更深入的特征评估。同时，它还能保留元素的空间排列，有效定位连接。 ## 3. 多尺度评估模型 ### 3.1 模型介绍 考虑了两种多尺度估计模型：多尺度控制网络（