利用Jensen不等式证明相对熵的非负性（P22314055梁辛宇）

 一.相对熵

1.相对熵的定义.

设   和   是相对于同一信源的两个概率测度，则   相对于的相对熵定义为：

。

且；。

也称作为交叉熵或者Kullback-Leibler距离。

2.相对熵的性质.

相对熵具有两个性质：非负性；当且仅当对所有i，=时，相对熵为零。

二.Jensen不等式

1.基本定义

Jensen不等式（Jensen's Inequality） 是凸分析与概率论中描述凸函数（或凹函数）与期望关系的基本不等式，其核心思想是：函数的期望与期望的函数之间存在由函数凸性决定的大小关系

2.利用Jensen不等式证明相对熵的非负性

三.总结

1、我们接触了CSDN平台，学会如何在其中查找与筛选自己需要的信息，同时也学习到其他人的一些很好的想法和学习方法。

2、我们更加熟悉Jensen不等式的内容，尤其是在第一次证明后真正理解其含义，并能够熟练的运用，在以后学习中遇到需要运用该不等式的情况时更加得心应手。

3、加深相对熵相关内容的理解，尤其是通过自己动手证明对其非负性印象深刻。