多线程多处理器环境下MPEG视频的并行解析

### 多线程多处理器环境下MPEG视频的并行解析 #### 1. 引言 在现代多媒体系统中，从图像、音频和视频中快速准确地提取关键信息是一项重大挑战。视频解析作为从视频中提取关键信息的重要预处理步骤，可用于视频的索引、浏览和导航。它主要涉及检测场景切换、渐变场景变化（如淡入淡出和溶解效果）以及相机运动（如平移和缩放）。 大多数视频流为了存储和传输进行了压缩。本文提出了在多线程多处理器环境下检测MPEG 1编码视频中突变和渐变场景变化以及相机运动特效的并行算法。这些算法只需对视频流进行最小程度的解压缩，从而显著节省执行时间和内存使用。该算法适用于实时解析流式视频或高吞吐量解析存档MPEG 1视频的场景。 #### 2. MPEG 1视频中的场景变化检测 本文的并行视频解析算法采用了两种不同的场景变化检测方法：运动 - 亮度方法和时空方法，这两种方法均以MPEG 1视频流作为输入。 ##### 2.1 MPEG 1视频格式描述 MPEG 1视频压缩依赖于两种基本技术：基于块的运动补偿以减少时间冗余，以及基于离散余弦变换（DCT）的压缩以减少空间冗余。运动信息通过16 x 16像素块（宏块）计算，并与空间信息一起传输。MPEG 1视频流包含三种类型的帧：帧内编码（I）帧、预测编码（P）帧和双向编码（B）帧。 - **I帧**：仅使用基于DCT的压缩，无运动补偿。I帧被分解为8 x 8像素块，并对每个块计算DCT。块DCT的直流项DCT(0,0)表示每个宏块的平均亮度和色度值。对原始图像进行的全局操作可在直流图像上进行，而不会显著影响最终结果。 - **P帧**：使用前一个I帧进行运动编码。 - **B帧**：可使用前一个和后一个I或P帧进行运动编码。 对于P帧和B帧，为每个16 x 16像素的宏块定义了运动向量（MV）。P帧的宏块相对于前一个I帧进行运动补偿，具有前向预测MV（FPMV）；B帧的宏块可能相对于前一个或后一个参考帧进行运动补偿，具有FPMV、后向预测MV（BPMV）或两者都有。预测误差信号使用DCT压缩，并以16 x 16像素宏块的形式传输。 ##### 2.2 运动 - 亮度方法 该方法利用MPEG 1视频流中嵌入的运动、亮度和色度信息。运动信息以MV的形式在每个帧的宏块级别编码，而亮度和色度信息编码为直流图像。 **场景切换检测**： - **使用直流图像**：设$X_i$（$i = 1, 2, ... , N$）为直流图像序列，生成差异序列$D_i$（$i = 1, 2, ... , N - 1$），其中$D_i = d(X_i, X_{i+1})$。基于亮度和色度信息，当且仅当以下两个条件满足时，认为在帧$X_l$和$X_{l+1}$之间发生场景切换： - 差异$D_l$是大小为$2m - 1$的对称滑动窗口内的最大值，即$D_l \geq D_j$（$j = l - m + 1, ... , l - 1, l + 1, ... , l + m - 1$）。 - $D_l$至少是滑动窗口内第二大最大值的$n$倍。 - **使用运动信息**：视频流中的切换以场景突变特征，典型的运动估计器在切换处几乎需要对所有宏块进行帧内编码。通过计算当前帧中每个宏块相对于前一帧中对应宏块的运动程度或运动距离（MD），并在无法确定对应关系时将其设置为非常高的值（理论上为无穷大），可以检测场景切换。MD序列$MD_i$（$i = 1, 2, ... , N - 1$）生成，其中$MD_l$是帧$X_l$和$X_{l+1}$之间的MD。基于运动信息，当且仅当以下两个条件满足时，认为在帧$X_l$和$X_{l+1}$之间发生场景切换： - 差异$MD_l$是大小为$2m - 1$的对称滑动窗口内的最大值，即$MD_l \geq MD_j$（$j = l - m + 1, ... , l - 1, l +