图的结构熵

图的结构熵

What Is The Problem ?

衡量图的熵值有好多种方式，比如吉布斯熵、香农熵、冯·诺依曼熵等。

如果我们通过一个网络模型去优化得到一个图模型，那么这个图模型的熵可以这么算：
$H_S=-{\sum }_{G\in S}p(G)logp(G)$, 称为：网络模型的结构熵(Structural Entropy of Models of Networks)

其中：$p(G)$ 是图 $G$ (更准确地说，是指同构集合)的概率; $S$ 是一个同构集合的集合，即 $S$ 中的元素(是一个同构集合)都是同构 (isomorphic) 的，需要注意的是，一个空间中的所有同构集合构成空间的一个分划 (partition).

这样，不难理解 $H_s$ 的计算分为以下步骤：

1. 去结构化： 定义 $G$ 的概率分布，可以用度 (degree) 的概率分布，也可以用距离的概率分布等
2. 香农信息：$I=H(p)$
3. 图的信息：就是 $I$.

那么问题来了，这个衡量方式 (metric) 有很多问题：

1. 去结构化：丢失了图的结构信息！
2. 香农信息：从一个简单的数字 $I$ 上，我们能够得到的信息是很有限的

如何解决呢？

At The Beginning

Graph

在解决问题前，我们先规定好一些假定。

• 图是结构化的，但是有噪音
• 图是演化（迭代优化）来的
• 图的演化（迭代优化）由一些准则 (rules)控制
• 图的演化（迭代优化）也会带有随机变动 (random variations)

Goals

我们要解决的目标是：

• 如何表示图的演化（迭代优化）的随机性？
• 图是由 rules 和 random variations 联合作用生成的，如何确切地提取由 rules 控制生成的部分？
• 我们可以区分这两个部分吗？即分别由 rules 和 random variations 生成了两个部分。

Structural Entropy

原论文中的内容很多，很复杂，这里删繁就简，就其中的精华的主体的部分做一个简单的总结。

One-Dimensional

连通无向等权重

我们从一维开始。给定一个图，每个节点是一维的，共有 $n$ 个节点。先讨论最简单的情况：连通无向等权重图：连通图 + 无向边 + 所有边等权重。

在图上进行一个随机游走(Random Walk)，这就是一个马尔可夫链了。因为等权重，这个马尔可夫链的转移概率就是均分的。有一个定理是这样的：对于连通无向图来说，这个马尔可夫链必定存在一个稳定的分布。我们就假设到达这个稳定分布就好了，不考虑过渡分布。

这个稳定分布是什么呢？通过细致平稳条件很容易就能证明：

$p_i=\frac{d_i}{2m},i=1,2,...,n$

自然地，可以想到用熵来表示这个结构信息。

$\begin{array}{rl}{\mathcal{H}}^1(G)& =H(\mathbf{p})=H\left(\frac{d_1}{2m},\dots ,\frac{d_n}{2m}\right)\\ & =-\sum _{i=1}^n\frac{d_i}{2m}\cdot {\log }_2\frac{d_i}{2m}.\end{array}$

$i$ 是节点下标，$m$ 是边的数量，$d_i$ 是节点的度。

这个公式也叫 位置熵 (positioning entropy).

连通无向带权重

接下来扩展到带权值的情况，其实很简单，只需要改变一下 $d_i$ 与 $m$

对于节点 $u$ : $d_u={\sum }_{v\in N(u)}w((u,v))$ ，这里 $w(\cdot ,\cdot )$ 是边的权重，$N(u)$ 是邻居。

对于总和 $m$ : $Vol(G)={\sum }_{v\in V}{d}_v$

这个时候的 $p_i$ : $p_u=\frac{d_u}{\mathrm{vol}(G)}$

所以总的来说变化不大：

H 1 ( G ) = H ( p ) = H ( d 1 vol ⁡ ( G ) , … , d n vol ⁡ ( G ) ) = − ∑ i = 1 n d i vol ⁡ ( G ) log ⁡ 2 d i vol ⁡ ( G ) \begin{aligned} \mathcal{H}^{1}(G) &=H(\mathbf{p})=H\left(\frac{d_{1}}{\operatorname{vol}(G)}, \ldots, \frac{d_{n}}{\operatorname{vol}(G)}\right) \\ &=-\sum_{i=1}^{n} \frac{d_{i}}{\operatorname{vol}(G)} \log _{2} \frac{d_{i}}{\operatorname{vol}(G)} \end{aligned} H1(G)​=H(p)=H(vol(G)d1​​,…,