混合高斯模型的EM算法

混合高斯模型的EM算法

Pre-requisites

  "混合模型简介"笔记

Overview

  在"混合模型简介"笔记中, 我们介绍了混合模型. 回顾一下, 假如观测值$X_i$来源于含有$K$个组件的混合模型, 那么$X_i$的边缘概率分布的形式为:$$P\left(X_i=x\right)=\sum _{k=1}^K{\pi }_{k}P\left(X_i=x|Z_i=k\right)$$其中Zi∈{ 1,…,K}Z_{i} \in\{1, \ldots, K\}Zi​∈{ 1,…,K}为隐变量, 代表$X_i$对应的模型组件, $P\left(X_i|Z_i\right)$代表混合组件的分布, ${\pi }_k$代表$X_i$来源于第k个组件的概率.
  在这篇笔记中, 我们将介绍混合高斯模型中的$\text{expectation-maximization (EM)}$算法. 我们有条件分布$X_i|Z_i=k\sim N\left({\mu }_k,{\sigma }_k^2\right)$, 因此$X_i$的边缘概率分布为:$$P\left(X_i=x\right)=\sum _{k=1}^{K}P\left(Z_i=k\right)P\left(X_i=x|Z_i=k\right)=\sum _{k=1}^K{\pi }_{k}N\left(x;{\mu }_k,{\sigma }_k^2\right)$$类似地, $X_1,\dots ,X_n$的联合概率分布为$$P\left(X_1=x_1,\dots ,X_n=x_n\right)=\prod _{i=1}^n\sum _{k=1}^K{\pi }_{k}N$$