【第十二周】李宏毅机器学习笔记10：生成式对抗网络2

摘要

本周主要学习了上周关于生成式对抗网络的剩余知识，了解了为什么 GAN 难以训练。此外，还学习了如何去评估 GAN 的性能以及在训练 GAN 过程中比较容易遇到的问题。最后还学习了条件生成对抗网络以及如何实现在非配对数据中学习。

Abstract

This week, I mainly reviewed the remaining knowledge about Generative Adversarial Network studied from last week and understood why the GANs are difficult to train. In addition, I also learned how to evaluate the performance of GANs and common problems encountered during the process training GANs. Finally, I learned Conditional GAN and how to implement learning from unpaired data.

1.GAN is Still Challenging

Generator 和 Discriminator 两部分是互动的，一旦一个出现问题，那么训练可能就停下来了，两者一定要棋逢对手。因为我们不能保证每次训练的 loss 都能降低，所以对 GAN 进行训练是一件很困难的事情。

当我们把 GAN 用于文字生成任务时，当 Decoder 的参数发生微小的变化时，得到的分布也会随之发生微小的变化，但是对于生产出来的文字并没有发生变化，因此 Discriminator输出的分数也不会发生改变，于是无法计算微分也就不能使用梯度下降法 。

2.Evaluation of Generation