生成对抗网络的Wasserstein距离：度量两个概率分布之间距离

AGI大模型与大数据研究院

已于 2024-04-02 23:41:50 修改

阅读量2.3k

点赞数 32

CC 4.0 BY-SA版权

文章标签：计算科学神经计算深度学习神经网络大数据人工智能大型语言模型 AI AGI LLM Java Python 架构设计 Agent RPA

于 2024-04-01 00:34:01 首次发布

本文链接：https://blog.csdn.net/2301_76268839/article/details/137213616

本文深入探讨了生成对抗网络（GANs）中的Wasserstein距离，解释了其作为损失函数的优势，以及如何通过Wasserstein GAN（WGAN）解决传统GAN的训练问题。文中详细阐述了Wasserstein距离的概念，WGAN的算法原理，包括1-Lipschitz连续性约束，并提供了代码实例。此外，还讨论了WGAN在图像生成、文本生成等领域的应用，并指出了未来研究方向，如理论优化、应用拓展和模型安全性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

生成对抗网络的Wasserstein距离

作者：禅与计算机程序设计艺术

1. 背景介绍

生成对抗网络（Generative Adversarial Network，GAN）是近年来机器学习领域最重要的创新之一。GAN通过训练两个相互竞争的神经网络模型—生成器(Generator)和判别器(Discriminator)，从而学习生成接近真实数据分布的样本。这种对抗训练的方式可以让生成器生成出高质量、接近真实数据分布的样本。

传统的GAN模型使用Jensen-Shannon散度作为生成器和判别器之间的损失函数。然而，Jensen-Shannon散度存在一些问题,比如当生成分布和真实分布没有重叠时梯度会消失,导致训练陷入困境。为了解决这一问题,Wasserstein GAN (WGAN)被提出,它使用Wasserstein距离作为生成器和判别器之间的loss函数。

2. 核心概念与联系

2.1 Wasserstein距离

Wasserstein距离,也称为Earth Mover’s Distance (EMD)，是度量两个概率分布之间距离的一种方法。

给定两个概率分布 $P$ 和 $Q$ ,Wasserstein距离定义为:

$\inf_{\gamma \in \Gamma(P,Q)} \mathbb{E}_{(x,y)\sim \gamma}[||x-y||]$

其中 $Γ(P,Q)\Gamma(P,Q)$ 表示所有可能的联合分布 $γ(x,y)\gamma(x,y)$ 的集合,其边缘分布为 $P$ 和 $Q$ 。直观上来说,Wasserstein距离就是将一个分布变形为另一个分布所需要的最小"工作量"。

与KL散度和JS散度不同,Wasserstein距离是一个真正的度量,满足以下性质:

非负性： $\geq 0$ ，等号成立当且仅当 $P = Q$
对称性： $W (P, Q) = W (Q, P)$
三角不等式： $\leq W(P,Q) + W(Q,R)$

这些性质使得Wasserstein距离更适合作为GAN的损失函数。

2.2 WGAN

WGAN通过最小化生成器G和判别器D之间的Wasserstein距离来训练GAN,损失函数定义如下:

$min_G \max_D W(P_g, P_r)$

最低0.47元/天解锁文章

200万优质内容无限畅学