qq_34420188的博客

https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence DKL(P|Q)用于度量同一概率空间两个概率分布P,Q之间的距离,在实际应用中P往往代表的是数据真实的分布,而Q一般是对P的逼近. 若μ是X上的任意度量,若Radon-Nikodym 导数存在,即p=dPdμ,q=dQdμ, DKL(P|Q)=∫Xp

Fisher 信息量 设 Sθ(x)=(∂lnpθ(x)∂θ1,...,∂lnpθ(x)∂θk)′ 满足 Sθ(x)对一切θ∈Θ有定义; EθSθ(x)=0,∀θ∈Θ; Eθ∥Sθ(.)∥2∞ 称 I(θ)=Var(Sθ(x))=Eθ[Sθ(x)S′θ(x)] 为Fisher信息阵,k=1时称作Fisher信息量. C-R下界 设g(θ)