基于双树复小波变换和深度CNN的视频修复超分辨率技术

# 基于双树复小波变换和深度CNN的视频修复超分辨率技术 ## 1 引言 图像修复是一种通过用周围区域的视觉合理信息填充缺失像素来完成图像的方法，可用于图像编辑任务，如受损图像修复、划痕处理和对象移除等。尽管图像修复领域已经取得了很大进展，但将这些技术应用于视频修复仍然具有挑战性，主要原因是视频增加了时间维度，且计算复杂度较高。不过，视频修复在遥感、增强现实、减弱现实和导航等领域有众多应用。 视频修复算法主要分为基于补丁和基于对象两类： - **基于补丁的方法**：其原理是将小视频补丁复制并粘贴到缺失区域，最初用于纹理合成，后扩展到图像修复。但这种方法以贪婪方式复制粘贴补丁，缺乏全局一致性，且通常假设相机运动是静态或受限的。为保持全局一致性，有学者进行了优化，但这些方法的计算复杂度仍然较高。 - **基于对象的方法**：将视频分割为前景和背景对象，分别重建后合并结果。然而，该方法只能从已知区域复制未知区域，因此对外观变化（如尺度变化）较为敏感。 为解决高计算时间的问题，可采用分层方法进行视频修复，即先获取低分辨率（LR）图像并使用基于示例的策略进行修复，然后使用单图像超分辨率（SISR）将低分辨率修复图像转换为高分辨率（HR）图像。 超分辨率（SR）是从一个或多个低分辨率图像获取高分辨率图像的过程，主要挑战是确定输入图像中缺失的高频细节。超分辨率算法可分为基于插值、基于示例和基于重建三类，不同类型的算法各有优缺点。近年来，基于深度学习（DL）的SISR方法表现出更高的准确性和更低的执行时间，但传统深度模型需要大量计算资源，不适合移动和平板等设备。 本文介绍了一种新颖的视频修复框架，该框架结合了双树复小波变换（DTCWT）和基于深度卷积神经网络（CNN）的超分辨率技术。通过下采样、修复和使用深度CNN超分辨率技术增强视频，可减少视频修复时间并提高修复视频的质量，同时自回归可避免因补丁亮度或对比度变化而产生的不连续性。 ## 2 提出的方法 ### 2.1 帧提取和下采样 从视频中提取帧，然后将这些帧下采样两倍以获得低分辨率（LR）图像。由于LR图像修复不依赖于噪声，因此与修复高分辨率（HR）图像相比，计算时间较低。获取LR图像后，将当前图像减去前一图像，如果残差为零或小于像素阈值，则跳过修复过程，因为这表明当前帧与前一帧相同，可避免修复冗余帧；若残差不为零，则进行修复过程。 ### 2.2 双树复小波变换（DTCWT） 双树复小波变换可以克服传统小波变换的缺点。复小波变换（CWT）是传统离散小波变换（DWT）的复值扩展，它使用复值滤波将信号在变换域中分解为实部和虚部，通过实部和虚部系数确定相位和幅度。DTCWT为正方向和负方向设置了单独的子带。 DTCWT将图像分解为16个子带，其中4个子带包含图像的平均内容，12个子带包含高频信息，所有子带都包含不同角度的边缘信息，子带的角度为 -15°、 -45°、 -75°，可得到对齐的子带A1 - A12，其余子带包含平均信息可丢弃。 ### 2.3 修复方法 将Criminisi修复算法应用于DTCWT分解后的四个子带，具体步骤如下： 1. 对于边界∂Ω上的每个像素k，确定其优先级 \(P(k) = C(k)D(k)\)。其中，\(C(k)\) 是一个置信度度量，用于衡量像素邻域内的信息含量；\(D(k)\) 是一个数据项，用于处理像素邻域内的结构信息。 - \(C(k)\) 的计算公式为：\(C(k) = \frac{\sum_{q\in\psi_k\cap(R - \Omega)}C(q)}{|\psi_k|}\)，其中 \(|\psi_k|\) 是像素k的补丁 \(\psi_k\) 的面积，\(\Omega\) 是图像R的目标区域。置信度项在初始掩码边界附近具有较高值，在目标区域中心附近逐渐衰减，算法首先修复具有最可靠邻域的像素。初始条件下，\(C(q) = \begin{cases}0, & q\in R - \Omega \\ 1, & q\in\Omega\end{cases}\)，补丁填充像素后，置信度项更新为 \(C(q) = C(k)\)。 - \(D(k)\) 的计算公式为：\(D(k) = |W_p\vec{n}_k|\)，其中 \(W_p = \sum_{q\in\psi_k\cap(I - \Omega)}w\nabla I_k\nabla I_k^T\)，\(\nabla I_k\) 是k处的颜色梯度，\(\vec{n}_k\) 是k处垂直于边界∂Ω的单位向量，w是以p为中心的归一化二维高斯函数。 2. 计算优先级后，选择优先级最高的像素 \(k_0\) 周围的补丁 \(\psi_{k_0}\) 进行修复。由于边界∂Ω上的像素具有更高的修复优先级，所选补丁 \(\psi_{k_0}\) 通常包含已知和未