[论文笔记]自监督sketch-to-image生成：Self-Supervised Sketch-to-Image Synthesis

前言：2020年顶会同时出现了两篇很有意思的论文《Self-Supervised Sketch-to-Image Synthesis》和《Unsupervised Sketch-to-Photo Synthesis》，分别用自监督和无监督的方法做sketch-to-image生成，可以说是GANs在这一任务中表现的巅峰。

目录

主要贡献

主要工作

域转换模型TOM

PS：边缘图、铅笔画图、草图sketch之间的区别

整体流程

​编辑

风格编码器​编辑

内容编码器​编辑

总loss

论文复现

在线体验

代码地址

数据集下载

TOM运行结果

论文地址和代码

个人感悟

参考

主要贡献

 1、以一种自我监督学习的方式研究了基于范例的草图到图像(s2i)综合任务，消除了配对草图数据的必要性。

2、利用合成的配对数据，提出了一个自我监督的自动编码器(AE)，从草图和RGB图像中解耦内容/风格特征，合成出既符合草图内容又符合rgb图像风格的图像。

3、为了进一步提高高分辨率的合成质量，我们还利用对抗网络来细化合成图像的细节。

4、利用所提出的草图生成器，该模型在风格混合和风格转移方面表现出良好的性能，这要求合成的图像既具有风格一致性，又具有语义意义。