24、移动设备的轻量级照片级真实风格迁移

移动设备的轻量级照片级真实风格迁移

1 引言

在图像编辑中，风格迁移是一种通过将一张图像的风格（即纹理和图案）应用到另一张图像上，同时保持第二张图像内容不变，从而创建和合成新图像的技术。虽然使用像Adobe Photoshop这样的专业图像编辑软件可以实现这一目标，但这个过程繁琐，且需要摄影领域的专业知识。

近年来，基于深度学习的艺术神经风格迁移技术在将图像渲染成艺术和绘画风格方面表现出色。而照片级真实风格迁移在此基础上，增加了保留风格化图像真实感的约束，以避免艺术风格迁移中出现的结构失真问题。许多使用卷积神经网络的工作在照片级真实风格迁移方面取得了显著成果，但大多依赖于如VGG这样计算量较大的网络架构作为骨干网络。

随着风格迁移等高级图像编辑任务逐渐应用于智能手机，设计优化的网络以利用有限的计算资源进行此类任务变得十分必要。本文展示了如何使用知识蒸馏技术将像VGG这样的大型网络压缩成轻量级网络，同时保留原网络的质量。此外，还证明了可以训练高效的卷积网络来学习图像平滑操作，从而适用于移动设备和智能手机等移动平台，实现快速高效的设备端照片级真实风格迁移。

2 相关工作

• 艺术风格迁移 ：Gatys等人首次使用深度神经网络，通过基于优化的技术迭代更新图像，实现了风格迁移。后来，出现了一些新方法，如通过匹配内容特征与风格特征的均值和方差，或使用白化和着色变换等，能够使用单个前馈网络高效地将任意风格迁移到图像上，但这些方法往往会导致风格化图像失去真实感。
• 照片级真实风格迁移 ：为解决风格迁移中真实感丢失的问题，照片级真实风格迁移应运而