基于强化学习的自增强相机图像质量提升方法

# 基于强化学习的自增强相机图像质量提升方法 ## 1. 引言 在图像领域，如何有效提升相机拍摄图像的质量一直是研究的热点。本文介绍了一种深度强化学习模型——递归自增强强化学习（RSE - RL），它通过基于块的空间自适应伪影滤波来递归地提高相机图像质量。 ## 2. 相关工作 ### 2.1 图像去噪 #### 2.1.1 生成噪声模式 当前图像去噪研究更多关注无模型噪声生成器，无论是全局还是局部。不同的研究采用了不同的方法： - 有的使用小波变换分离高频信号，再应用可逆块设计恢复和细化低分辨率图像信号。 - 有的探讨在闪光/非闪光对下的对比学习，以消除低光照条件下的噪声。 - 还有的提出一致性先验，测量相关性并尝试线性化图像噪声模型。 - 部分研究扩展盲点模型进行自监督去噪，专门处理泊松 - 高斯噪声。 - 像 Noise2same 这种自监督学习方法，将完整噪声图像和掩码图像作为输入并产生两个输出，通过计算重建损失和不变性损失来对齐标准去噪滤波器。这些工作中，噪声的生成模型通常被假设为全局修改。 #### 2.1.2 潜在子空间去噪 主要贡献之一是通过探索子空间学习潜在编码，以最大化自然图像中自相似性的使用。不同的早期工作有不同的思路： - 有的提出全局噪声的高斯混合模型。 - 受变分自编码器（VAE）的潜在空间聚类启发，引入潜在混合子空间并在多个不同的去噪滤波器下进行优化。 - 潜在空间解缠下的变分推理对非均匀、信号相关的噪声去除算法具有更好的分离性和近似能力。 - 也有研究学习潜在空间噪声基，通过主成分分析进行投影。 - 对于基于块的子空间噪声学习，有的方法将整个图像与其噪声水平图拼接作为编码器输入，通过跨块采样找到相似上下文块，聚合局部和非局部特征作为解码器输入并应用残差块输出精细去噪图像。 - PS - VAE 提出在潜在空间编码中施加高斯混合模型进行基于块的去噪，并引入软标签为块分配不同滤波器，但在真实照片中噪声先验难以处理，导致假设过强难以泛化。 ### 2.2 相机 ISP 与深度学习模型 深度学习方法逐渐取代了传统计算摄影任务中的图像和信号处理。在图像去噪和去模糊等任务中，通过实现神经网络的低级细节和层次结构，可以取得优异的性能。在相机 ISP 相关工作中，不同类型的建模被应用于不同的视觉任务，如颜色去马赛克、自动白平衡校正和去除有损压缩伪影等在深度学习环境下都有相关研究。在图像去噪范围内，不同的模型有不同的特点： - CycleISP 开发生成模型生成正向和反向的合成逼真图像数据。 - 早期工作通过应用传感器源采样的深度学习方案联合解决去马赛克和去噪问题。 - 最近的 PyNET 提出一个包含 5 个并行学习级别的深度学习模型来取代整个相机 ISP 管道，将手机输入的 RAW 图像与 DSLR 相机输出对齐作为监督训练数据，输出视觉高质量的 sRGB 图像。 - 还有研究专注于合成依赖于 RAW 图像信号的噪声模式，并从一组未配对的噪声和干净图像中迭代更新去噪图像，以适应和微调预训练的去噪器。 ### 2.3 基于强化学习的图像增强 强化学习方法已应用于不同的低级视觉任务，特别是图像处理。不同的研究有不同的应用方式： - 有的提出像素级的 A3C 方案，将整个图像域视为多智能体系统，通过滤波动作和奖励图卷积有效计算平均奖励，启发了后续将图像处理任务表述为多智能体或多任务学习问题，通过强化学习进行控制。 - 有的引入全局图像增强方法，在 RAW 图像上应用不同滤波器，通过决策过程（策略梯度下降）进行处理，网络输入是低分辨率的 64×64 块，用于确定应用于高分辨率图像的滤波器及其权重。 - 还有的扩展了滤波器决策的思想，基于长短期记忆网络（LSTM）进行决策，而非传统的卷积神经网络。 ## 3. 递归自增强相机 ISP ### 3.1 整体框架 RSE - RL 的整体框架如图 1 所示，它由一个从 [53] 发展而来的多潜在子空间变分自编码器组成。对于每个输入图像 \(I_{obs} \in R^{H×W×C}\)，首先将其划分为 \(D×D\) 的块 \(P \in R^{D×D×C}\)，允许块之间有重叠。每个块 \(P\) 与观察图像的关系为 \(P = I_{obs} \odot H_n\)，其中 \(H_n\) 是其在原始图像域中的位置掩码。虽然不估计伪影的大小，但在块内用单一主导模型近似，即 \(f(P) = f(I_{obs} \odot H_n) \approx (I_{gt} + \epsilon_i \odot M_i) \odot H_n\)。 RSE - RL 网络最初从干净图像块 \(P_c = I_{gt} \odot H_n\) 和观察到的噪声块 \(P_b\) 中学习。将干净块和噪声块都输入到由 \(\vec{\theta}\) 参数化的变分编码器 \(q(P|\vec{\theta})\) 中，编码器将块投影到三个潜在子空间 \(Z_y\)、\(Z_u\) 和 \(Z_v\)，并通过以下方式在三个潜在空间中采样： \(\vec{z}_s \sim N(q_{\mu_s}(P|\vec{\theta}), diag[(q_{\sigma_s}(P|\vec{\theta}))^2]), s \in \{y, u, v\}\) 分别用 \(\{\vec{z}_{b_y}, \vec{z}_{b_u}, \vec{z}_{b_v}\}\) 和 \(\{\vec{z}_{c_y}, \vec{z}_{c_u}, \vec{z}_{c_v}\}\) 表示噪声块 \(P_b\) 和干净块 \(P_c\) 的潜在编码（样本）。为了获得能够识别亮度和色度分量的潜在子空间，在编码器 \(q\) 中对每个输入块 \(P_b\) 和 \(P_c\) 进行逐像素的 RGB 到 YUV 变换作为预处理层。 在三个子空间 \(Z_y\)、\(Z_u\) 和 \(Z_v\) 内，构建一组三个变换 \(T = \{T_y, T_u, T_v\}\)，训练这些变换使噪声块的潜在表示接近干净块的潜在表示：\(T(\vec{z}_b) \approx \vec{z}_c\)。然后设置三个解码器 \(P_y := p_y(T_y(\vec{z}_{b_y})|\vec{\psi}_y)\)、\(P_u := p_u(T_u(\vec{z}_{b_u})|\vec{\psi}_u)\)、\(P_v := p_v(T_v(\vec{z}_{b_v})|\vec{\psi}_v)\) 分别从三个解缠的潜在子空间重建 YUV 通道。YUV 特征构建完成后，通过块变换 \(P_T\) 将块的 YUV 特征转换为 RGB 块： \(P_T(P_y, P_u, P_v) = vec^{-1}_{D×D×C}[A[vec(P_y), vec(P_u), vec(P_v)]^T]\) 其中 \(vec^{-1}_{D×D×C}\) 是将块重新整形为 \(D×D×C\) 的操作符，YUV - RGB 块变换矩阵 \(A\) 是 RGB - YUV 线性变换矩阵的逆。每个块