WaveFace:利用高效频率恢复技术进行真实面部修复
问题
- 扩散模型很强大,但是有两个问题:1)训练和推理速度慢;2)无法保留身份和恢复细致的面部细节。
思路
- 提出了WaveFace ,把BFR任务由像素域转化为频域,把图片通过小波变换分解的低频和高频成分被单独考虑,低频包含人脸结构等一般信息,高频包含丰富的细节信息。
- 扩散模型仅用于恢复低频分量,大小仅为原始图像的1/16(加速)
- 为了预先识别原始图像,在每个去噪步骤中都以低质量图像的低频分量为生成条件。(保留身份识别)
- 同时,多级分解的高频分量由一个统一的网络来处理,可在单次处理中恢复复杂的面部细节。
背景知识
离散小波变换(DWT)
具体方法
整体结构如图2 所示,先通过离散小波变换(DWT)将退化图像分解为低频和高频两部分。低频去噪模块(LCD)和高频恢复模块(HFR)分别用于消除低频和高频成分的退化并恢复面部细节。恢复后的频率分量用于图像重建。
低频模块
低频分量与原始图像的下采样版本相似,这在很大程度上决定了恢复质量。由于 LCD 具有强大的噪声输入生成能力,因此采用扩散模型 (DM) 来恢复高质量 (HQ) 图像的低频子带。
条件扩散模型
我们将一对 LQ 和 HQ 图像的低频子带表示为 (xll0j,yll0j)(x^j_{ll_0} , y^j_{ll_0} )(xll0j,yll0j) 。
根据等式 (5) 中定义的扩散过程,随着时间步长 t 的增加,图像会逐渐被高斯噪声破坏,这意味着在较大的时间步长 T 之后,分布 q(xT∣x0)≈q(yT∣y0)≈N(0,I)q(x_T |x_0) ≈ q(y_T |y_0) ≈ \mathcal{N} (0, I)q(xT∣x0)≈q(yT∣y0)≈N(0,I) 。基于此假设,我们的 LCD 旨在学习后验分布 p(y0∣x0)p(y_0|x_0)p(y0∣x0