DINet：用于高分辨率视频上实现逼真面部视觉配音的变形修复网络

知识星球「AI数字人科研交流群」：https://t.zsxq.com/VGYkZ

在少样本学习中，实现高分辨率视频上逼真的面部视觉配音仍然是一个关键挑战。以往的工作未能生成高保真的配音结果。为了解决上述问题，本文提出了一种用于高分辨率面部视觉配音的变形修复网络（DINet）。与依赖多个上采样层直接从潜在嵌入生成像素的以往工作不同，DINet对参考图像的特征图进行空间变形，以更好地保留高频纹理细节。具体来说，DINet由一个变形部分和一个修复部分组成。在第一部分中，五个参考面部图像自适应地进行空间变形，创建编码每帧口型的变形特征图，以便与输入驱动音频以及输入源图像的头位姿对齐。在第二部分中，为了生成面部视觉配音，一个特征解码器负责自适应地将变形特征图中的口部动作和其他属性（例如从源特征图中联合预测头部姿势和上面部表情。最终，DINet实现了具有丰富纹理细节的面部视觉配音。我们进行了定性和定量比较，以验证我们的DINet在高分辨率视频上的表现。实验结果表明，我们的方法优于最先进的工作。

论文题目：DINet: Deformation Inpainting Network for Realistic Face Visually Dubbing on High Res