[论文笔记] gumbel-softmax 实现离散分布可微 + torch代码+ 原理 + 证明

已于 2024-07-03 17:17:43 修改
阅读量511 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 论文笔记 文章标签： 论文阅读
于 2024-07-03 17:16:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/140157542
了解本专栏 订阅专栏 解锁全文 超级会员免费看
gumbel-softmax如何实现离散分布可微+torch代码+原理+证明
Braylon的博客
03-09 3515
gumbel-softmax 的原理和数学证明与torch代码实现
Gumbel Softmax
whaosoft143ai的博客
06-04 4732
那为什么随机部分要用gumbel分布而不是常见的高斯分布呢? 这是因为gumbel分布是专门用来建模从其他分布 (比如高斯分布) 采样出来的极值形成的分布, 而我们这里“使用argmax挑出概率最大的那个类别索引 "就属于取极值的操作, 所以它属于极值分布。在此之前, 你可能想都不敢想, 极值形成的分布竞然是有规律的, 可的确就是有这么神奇的存在, 这就是数学的魅力所在, 但是要加个条件, 就是极值是采样自某一个指数族的概率分布, 比如高斯分布。 下面我们用一个例子和代码来验证一下这个极值分布的规律。假
通俗易懂地理解Gumbel Softmax
家鸽的代码屋
09-25 2100
我在学习《》的过程中，听到朱老师讲到了GroupViT中用到了gumbel softmax（），于是我带着好奇心试图想去了解gumbel softmax是什么，最后我把我的理解写成这篇文章，但是目前我在工作中还没用到gumbel softmax，所以如果有说得不对的地方，欢迎指正。
Gumbel Softmax原理详解
最新发布
sjtu_wyy的博客
06-25 837
Gumbel Softmax是一种解决离散变量可微分采样的技术，通过引入Gumbel分布噪声和温度参数，将不可导的离散采样过程转化为可导的连续近似。其核心原理分为两个阶段：Gumbel-Max Trick提供数学等价采样方式，Gumbel-Softmax则通过带温度的softmax函数代替argmax实现梯度可传播。该方法广泛应用于VAE、离散序列生成、强化学习等需要优化离散变量的场景，有效解决了梯度无法反向传播的问题。
gumbel-softmax(替代argmax)
hxxjxw的博客
09-14 3119
gumbel-softmax(替代argmax)
Gumbel softmax
weixin_37804469的博客
08-24 1018
https://www.cnblogs.com/yi-xia/p/12468957.html
Gumbel-Softmax简介
qq_44733706的博客
08-07 3356
Gumbel softmax：解决了采样于计算图的分离问题。
Gumbel-Softmax
Rhett_Butler0922的博客
04-28 1010
Gumbel-Softmax是一种将离散采样转化为可微过程的强大工具，核心是通过Gumbel噪声和Softmax函数近似分类分布的采样。它解决了深度学习中离散变量不可微的难题，广泛应用于VAE、GAN、强化学习和NAS等领域。通过温度参数τ\tauτ，Gumbel-Softmax可以在离散性和连续性之间灵活调节。背景：离散采样不可微，阻碍端到端训练。方法：用Gumbel-Max技巧采样，用Softmax近似argmax。数学：Gumbel噪声保证随机性，Softmax保证可微性。应用。
Gumbel-softmax 方案在机器学习中的应用
haha125809的博客
10-22 2434
Gumbel-softmax 方案主要用于解决在深度学习中处理离散变量时，传统离散采样不可微的问题，使得在涉及离散分布的任务中能够利用基于梯度的优化方法。初始化方法__init__：接收一个参数temperature（默认为 1.0），这个参数在后续的采样过程中起着控制输出分布的作用。较高的温度会使输出更接近均匀分布，较低的温度则会使输出更接近离散的 one-hot 向量。方法sample_gumbel：用于生成 Gumbel 噪声。
Gumbel-Softmax 离散化sac
03-19
### Gumbel-Softmax在SAC中的离散化实现 #### 背景介绍 软演员-评论家（Soft Actor-Critic, SAC）是一种基于最大熵框架的强化学习算法，适用于连续动作空间的任务。然而，在面对离散动作空间时，传统的SAC无法直接...
Gumbel-Softmax技术
qq_45540735的博客
01-09 1296
技术是一种用于近似离散化采样的技术，它通过Gumbel分布和Softmax函数的结合，实现了平滑可微的离散采样。这使得神经网络可以在处理离散变量时，仍然能够通过梯度优化进行训练，是强化学习、生成模型和神经架构搜索等任务中的重要工具。
内涵：算法学习之gumbel softmax
热门推荐
算法工程师进阶之路
01-20 2万+
这里写自定义目录标题1. gumbel_softmax有什么用呢?2.argmax(x)是什么?为什么不可导?3. 引入随机性：gumbel分布4. 解决不可导：gumbel_softmax 1. gumbel_softmax有什么用呢? 假设如下场景: 模型训练过程中, 网络的输出为p = [0.1, 0.7, 0.2], 三个数值分别为"向左", “向上”, "向右"的概率。 我们的决策可能是y = argmax§, 也即选择"向上"这条决策。 但是，这样做会有两个问题: argmax()函数是不可导
【机器学习】gumbel softmax的介绍
cjy_colorful0806的博客
06-25 5156
Gumbel-Softmax 是一种技术，用于在离散选择中引入可微分的近似。这对于需要在神经网络中进行离散采样（如分类任务或生成离散数据）而不破坏梯度计算非常有用。Gumbel-Softmax 可以看作是对经典的 Softmax 函数的一种扩展，结合了 Gumbel 噪声，用于逼近离散的 one-hot 向量，同时保持梯度的可计算性。在许多机器学习任务中，需要从一个离散的分布中采样。例如，在强化学习或生成模型中，可能需要从一组离散的动作或词汇中进行选择。
gumbel-softmax：实现高效率的变分自编码器
gitblog_00715的博客
03-27 386
gumbel-softmax：实现高效率的变分自编码器 项目介绍 在深度学习领域，变分自编码器（VAE）是一种流行的无监督学习算法，用于数据的生成和表示。gumbel-softmax 是一个开源项目，它通过引入 Gumbel-Softmax估计算子，实现了一种高效且易于训练的类别变分自编码器。该项目的核心是利用 Gumbel-Softmax 算子来近似类别分布的采样过程，使得模型的训练更加高效和稳...
【AI模型学习】Gumbel-Softmax —— “软硬皆吃”的函数
wwl412095144的博客
05-22 2192
Gumbel-Softmax 是一种可微分的替代方案，用于在神经网络中对离散类别变量进行建模与采样。其核心优势在于能够在反向传播中保留梯度信息的同时，实现对离散变量的“近似采样”。
Gumbel Softmax方法
Reaearcher-Du
11-07 1520
在很多场景中，我们需要对离散数据进行采样，然而神经网络等深度学习模型更擅长处理连续数据。为此，Gumbel Softmax通过引入Gumbel分布，将离散的选择过程转换为连续的分布，从而使得模型可以端到端地进行训练。
gumbel-softmax的使用、课程学习的使用、有监督的对比学习的使用、无监督的对比学习的使用
胡图图不糊涂的博客
01-06 1522
gumbel-softmax里面的τ获得的向量越接近一个的向量；τ获得的向量越接近一个；τ则gumbel-softmax就。
Gumbel-Softmax完全解析
mathor的博客
11-16 3883
本文对大部分人来说可能仅仅起到科普的作用，因为Gumbel-Max仅在部分领域会用到，例如GAN、VAE等。笔者是在研究EMNLP上的一篇论文时，看到其中有用Gumbel-Softmax公式解决对一个概率分布进行采样无法求导的问题，故想到对Gumbel-Softmax做一个总结，由此写下本文整个过程相当于我们把不可导的取样过程，从z\mathbf{z}z本身转移到了求z\mathbf{z}z的公式中的一项gig_igi​中，而gig_igi​本身不依赖p1,..,p。
【学习笔记】Gumbel softmax 学习文档
Chase Blog
04-15 1277
Gumbel-Softmax 是一种用于离散变量的连续近似方法。它可以将离散的分类变量（如 one-hot 编码）转换为连续的概率分布，同时保留可微性，适用于神经网络的反向传播。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值