机器学习中的距离/散度/熵

最新推荐文章于 2023-08-11 06:51:29 发布

原创

最新推荐文章于 2023-08-11 06:51:29 发布 · 705 阅读

1 ·

CC 4.0 BY-SA版权

本文详细介绍了机器学习中的信息量、信息熵、交叉熵、KL散度、联合信息熵与条件信息熵、互信息以及Variation of Information。通过公式和性质解析，帮助读者理解这些概念在衡量数据分布差异和编码效率中的作用，并强调了它们在损失函数、决策树等应用中的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

                    
                        
                    
                    一、信息量 
定义：用一个信息的编码长度。
性质：编码长度与出现的概率成负相关。（如：哈夫曼编码）
公式（0/1编码）
  I = log ⁡ 2 ( 1 p ( x ) ) = − log ⁡ 2 ( p ( x ) ) I=\log_2(\frac{1}{p(x)})=-\log_2(p(x)) I=log2​(p(x)1​)=−log2​(p(x))
 
二、信息熵 
定义：一个分布的信息量。（编码的平均长度/信息量的均值）
公式
  H ( p ) = ∑ x p ( x ) l o g 2 ( 1 p ( x ) ) = − ∑ x p ( x ) log ⁡ 2 ( p ( x ) ) H(p)=\sum_x{p(x)log_2(\frac{1}{p(x)})}=-\sum_x{p(x)\log_2(p(x))} H(p)=x∑​p(x)log2​(p(x)1​)=−x∑​p(x)log2​(p(x))
 
三、交叉熵 cross-entropy 
定义：用猜测的分布 ( p ) (p) (p)的编码方式 编码 真实的分布 ( q ) (q) 

                