置换怎么表示成轮换_置换矩阵也能求导优化

最新推荐文章于 2024-06-25 08:11:32 发布

原创最新推荐文章于 2024-06-25 08:11:32 发布 · 550 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#置换怎么表示成轮换

本文探讨了置换矩阵在解决指派问题中的应用，指出置换矩阵可以被视为弱化的softmax。通过Sinkhorn operator与熵的关系，证明了置换矩阵与softmax的联系。文章进一步阐述了如何使用gumbel分布重参数化softmax来求解置换矩阵，提出使用VAE进行模型构建。此外，文章还提及了softmax的变种，如sparse softmax和entmax，拓展了softmax在序列到序列模型中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是对论文 Learning Latent Permutations with Gumbel-Sinkhorn Networks的阅读笔记。

很多时候我们都希望学习一个置换矩阵(permutation matrix)，用来找到一个合适的排序，或者解决一个指派问题，就是找到一个最优的分配策略，他可以用匈牙利算法在多项式时间内解决，然后这个问题是不可微的，也就不能放在神经网络中。他可以形式化的写作：

其中X是NxN维矩阵表示每个指派的收益，P是置换矩阵。

是Frobenius内积。

指派问题与softmax的联系

其实仔细想想，置换矩阵不就是相当于每一行每一列都是一个one-hot吗，而one-hot一个著名的弱化的例子就是softmax了，我们知道当softmax的温度趋于0的时候，softmax会变成one-hot：

那么他跟指派问题有什么关系呢？其实我们可以定义一个对行列不停地分别除以每一行的和，以及除以每一列的和的操作，这个操作称为Sinkhorn operator S(X) 可以定义如下：

其中

，可以证明S(X)一定会收敛到一个叫Birkhoff polytope的空间上，记为

可以证明

是包含所有置换矩阵的。于是，指派问题与softmax的联系可以用下面这个定理联系起来：

定理1：定义随机矩阵P的熵为

，则

如果X的产生是独立的，那么一定有

现在证明第一个，考虑如下拉格朗日有约束的优化：

令

一定有对于每个

也就是说对于任意正数的对角矩阵

都有

根据Sinkhorn's theorem, 一定有

与softmax的联系

实际上，以上的推导只是基于一个softmax的原理简单的推广:

即是softmax所近似的argmax值，实际上，这个argmax可以表示成一个关于one-hot向量的优化问题，即寻找一个one-hot向量，使得他跟x的内积最大：

跟上面的证明差不多，我们可以写出e的带约束的拉格朗日公式，并对e求导，令它等于0，可以得到e的形式就是一个softmax公式，于是

可以简单证明一下：

又因为

,所以一定有

于是我们理解permutation matrix本质上可以弱化为softmax组成的矩阵，因此我们完全可以利用gumbel分布对softmax的重参数化能力来重参数化这个置换矩阵，从而采用VAE来求解一个隐变量时置换矩阵的生成模型，而这就是这篇论文所做的贡献了。

关于gumbel分布，可以参考我之前的另外一篇文章

带你认识神奇的Gumbel trickblog.csdn.net

对softmax的进一步思考

当我们把softmax写成下面这一条公式的时候，事情就变得越发有趣：

我们发现，softmax的指数项的来源，其实是那个

产生，因为里面有个log，为了得到偏导数等于0的e，这个log要取个指数项消掉。然而对于熵

，其实除了香农熵的经典定义外，还有很多其他的定义的，这是否意味着，softmax还拥有其他的变种？

答案是肯定的，在论文[3]中说明了，只要将香农熵换成，Gini entropy：

，就能推导出全新的sparse softmax，这个softmax具有sparse的性质：

实际上，这个sparse softmax是在论文 [2] 中提出的，有了这个思路，其实我们能够推导出各种各样的变种，论文就提出了用Tsallis α-entropies:

于是就推导出了entmax

这部分有兴趣的各位可以去看看[3].

参考文献

[1] Mena G, Belanger D, Linderman S et.al. Learning Latent Permutations with Gumbel-Sinkhorn Networks[J]. Iclr 2018, 2018(2011): 1–14.

[2] Martins A F T, Astudillo R F. From softmax to sparsemax: A sparse model of attention and multi-label classification[J]. 33rd International Conference on Machine Learning, ICML 2016, 2016, 4: 2432–2443.

[3] Peters B, Niculae V, Martins A F T. Sparse Sequence-to-Sequence Models[J]. 2019.