熵

1 信息熵

熵的概念首先在热力学中引入，用于度量一个热力学系统的无序程度。

1948年，C.E. Shannon 在《A Mathematical Theory of Communication》第一次提出了信息熵。

• 信息熵（Entropy）是信息的不确定性（Uncertainty）的度量，不确定性越大，信息熵越大。
• 信息用来消除事件的不确定性，即消除熵=获取信息。消除熵可以通过调整事件概率、排除干扰或直接确定来消除。

一条信息消除的事件的不确定性越大（熵减越大），它蕴含的信息量越大。

因此，信息的量度应该依赖于事件的概率分布$p(x)$。

（1）定义

$$H=-\sum _{x}p(x)\log p(x)$$其中，$p(x)$为随机变量$X$的概率密度函数。使用以2为底的对数函数单位为bit。

对于离散型随机变量：
$$H=-\sum _{i=1}^{n}P(x_i)\log P(x_i)$$$0\le H(X)\le {\log }_{2}N$，$N$是系统$S$中的事件总数，当且仅当$X$均匀分布（$p_1=p_2=...=p_N$），系统的熵达到最大值${\log }_{2}N$（不确定性最大）。

如对于两点分布，$H=-p\log p-(1-p)\log (1-p)$，当$p=0.5$时，$H$取得最大值1bit。

（2）举例

• e.g.1
  • 随机抛掷1枚硬币1次，有2种可能结果：$H=-\sum _{i=1}^2\frac{1}{2}{\log }_2\frac{1}{2}=1bit$；
  • 抛掷3次，有8中可能结果：$H=-\sum _{i=1}^8\frac{1}{8}{\log }_2\frac{1}{8}=3bit$
• e.g.2 A/B/C/D 四个选项：
  • 无法确定是哪个选项为正确选项，此时的熵：$H=-\sum _{i=1}^4\frac{1}{4}{\log }_2\frac{1}{4}=2bit$
  • 知道A不是正确选项后的熵：$H_A=-\sum _{i=1}^3\frac{1}{3}{\log }_2\frac{1}{3}=1.585bit$
  • A不是正确选项提供的信息量：$H-H_A=0.415bit$

2 联合熵（Joint Entropy）

联合熵表示$X,Y$同时发生的不确定性，定义如下：
$$\begin{gathered} H(X,Y)=-\sum _{x,y}p(x,y)\log p(x,y) \\ =H(X)+H(Y\mid X) \\ =H(Y)+H(X\mid Y) \end{gathered}$$

$H(X,Y)\le H(X)+H(Y)$，当且仅当$X,Y$相互独立时等号成立。

推广：$H(X_1,X_2,...,X_n)\le {\sum }_{i=1}^{n}H(X_i)$，当且仅当随机变量$X_i$相互独立时等号成立。

3 条件熵（Conditional Entropy）

条件熵表示一个随机变量在给定另外一个随机变量的条件下的熵，定义如下：

$$\begin{gathered} H(X\mid Y)=-\sum _{x,y}p(x,y)\log p(x\mid y) \\ =H(X,Y)-H(Y) \end{gathered}$$
同理，
$$\begin{gathered} H(Y\mid X)=-\sum _{x,y}p(x,y)\log p(y\mid x) \\ =H(X,Y)-H(X) \end{gathered}$$
$H(X\mid Y)\le H(X),H(Y\mid X)\le H(Y)$，当且仅当$X,Y$相互独立时等号成立。

两个条件的条件熵定义如下：$$H(X\mid Y,Z)=-\sum _{x,y,z}p(x,y,z)\log p(x\mid y,z)$$

4 互信息（Mutual Information）

互信息表示由另一随机变量导致的原随机变量不确定度的缩减量，定义如下：
$$\begin{gathered} I(X;Y)=\sum _{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)} \\ =H(X)-H(X|Y) \\ =H(Y)-H(Y|X) \\ =H(X)+H(Y)-H(X,Y) \end{gathered}$$

互信息关于$X$和$Y$对称，为非负值。可度量两个随机变量之间的独立程度，当且仅当$X$和$Y$相互独立时等于零。