论文阅读:WaveFace: Authentic Face Restoration with Efficient Frequency Recovery

WaveFace:利用高效频率恢复技术进行真实面部修复

问题

  • 扩散模型很强大,但是有两个问题:1)训练和推理速度慢;2)无法保留身份和恢复细致的面部细节。

思路

  • 提出了WaveFace ,把BFR任务由像素域转化为频域,把图片通过小波变换分解的低频和高频成分被单独考虑,低频包含人脸结构等一般信息,高频包含丰富的细节信息。
  • 扩散模型仅用于恢复低频分量,大小仅为原始图像的1/16(加速)
  • 为了预先识别原始图像,在每个去噪步骤中都以低质量图像的低频分量为生成条件。(保留身份识别)
  • 同时,多级分解的高频分量由一个统一的网络来处理,可在单次处理中恢复复杂的面部细节。

背景知识

离散小波变换(DWT)

具体方法

请添加图片描述
整体结构如图2 所示,先通过离散小波变换(DWT)将退化图像分解为低频和高频两部分。低频去噪模块(LCD)和高频恢复模块(HFR)分别用于消除低频和高频成分的退化并恢复面部细节。恢复后的频率分量用于图像重建。

低频模块

低频分量与原始图像的下采样版本相似,这在很大程度上决定了恢复质量。由于 LCD 具有强大的噪声输入生成能力,因此采用扩散模型 (DM) 来恢复高质量 (HQ) 图像的低频子带。

条件扩散模型

我们将一对 LQ 和 HQ 图像的低频子带表示为 (xll0j,yll0j)(x^j_{ll_0} , y^j_{ll_0} )(xll0j,yll0j)

请添加图片描述
根据等式 (5) 中定义的扩散过程,随着时间步长 t 的增加,图像会逐渐被高斯噪声破坏,这意味着在较大的时间步长 T 之后,分布 q(xT∣x0)≈q(yT∣y0)≈N(0,I)q(x_T |x_0) ≈ q(y_T |y_0) ≈ \mathcal{N} (0, I)q(xTx0)q(yTy0)N(0,I) 。基于此假设,我们的 LCD 旨在学习后验分布 p(y0∣x0)p(y_0|x_0)p(y0x0

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值