Machine Learning-L18-隐马尔可夫模型

隐马尔可夫模型（HMM，Hidden Markov model）是关于时序的概率模型，描述由隐藏马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。
隐马尔可夫模型属于动态贝叶斯网，可用于标注问题的模型学习，属于生成模型，在语音识别、自然语言处理，生物信息等领域有着广泛应用。

1. 基本概念

1.1 标注问题

标注（Tagging）问题是分类问题的推广，又是更复杂的结构预测（structure prediction）问题的简单形式。

• 输入：观测序列
• 输出：标记序列或状态序列
• 目的：学习一个模型，使其能够对观测序列给出标记序列作为预测

标注问题针对训练集$D$， D = { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , . . . , ( x ( m ) , y ( m ) ) } D=\{(\boldsymbol x^{(1)},\boldsymbol y^{(1)}), (\boldsymbol x^{(2)}, \boldsymbol y^{(2)}),...,(\boldsymbol x^{(m)},\boldsymbol y^{(m)})\} D={(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m))}输入观测序列：$${\mathbf{x}}^{(i)}=(x_1^{(i)},x_2^{(i)},...,x_n^{(i)}{)}^T，i=1,2,...,m$$输出标记序列：$${\mathbf{y}}^{(i)}=(y_1^{(i)},y_2^{(i)},...,y_n^{(i)}{)}^T，i=1,2,...,m$$$n$是序列的长度，$m$为样本个数，$n<<m$。

学习一个模型（条件概率分布）：$$P(Y_1,Y_2,...,Y_n\mid X_1,X_2,...,X_n)$$
使得对于一个新的观测序列：$${\mathbf{x}}^{(m+1)}=(x_1^{(m+1)},x_2^{(m+1)},...,x_n^{(m+1)}{)}^T$$
找到使条件概率$$P((y_1^{(m+1)},y_2^{(m+1)},...,y_n^{(m+1)}{)}^T\mid x_1^{(m+1)},x_2^{(m+1)},...,x_n^{(m+1)}{)}^T$$最大的标记序列$${\mathbf{y}}^{(m+1)}=(y_1^{(m+1)},y_2^{(m+1)},...,y_n^{(m+1)}{)}^T$$

1.2 马尔可夫链

随机过程$x(t)$，在$t$时刻的状态$i_t$，仅与$t-1$时刻的状态$i_{t-1}$有关，即$P(i_t\mid i_{t-1},...,i_1)=P(i_t\mid i_{t-1}),t=1,2,...T$，该过程称为马尔可夫过程（Markov Process），又称马尔可夫链（Markov Chain）。

上图为一个马尔可夫链，可以看出$$P(i_{t+1}=M_3\mid i_t=M_2)=0.6,P(i_{t+1}=M_4\mid i_t=M_2)=0.4$$

1.3 隐马尔可夫模型

隐藏的马尔可夫链随机生成的状态的序列，称为状态序列（state sequence）；
每个状态生成一个观测，由此产生的观测的随机序列，称为观测序列（observation sequence）；
序列的每个位置为一个时刻。

• 状态集合： Q = { q 1 , q 2 , . . . , q N } Q=\{q_1,q_2,...,q_N\} Q={q1​,q2​,...,qN​}，$N$是可能的状态数。
• 观测集合： V = { v 1 , v 2 , . . . , v M } V=\{v_1,v_2,...,v_M\} V={v1​,v2​,...,vM​}，$M$是可能的观测数。
• 状态序列：$I=(i_1,i_2,...,i_T)$，$T$是状态序列的长度。
• 观测序列：$O=(o_1,o_2,...,o_T)$。
  

（1）定义

隐马尔可夫模型$\lambda$由状态转移概率分布矩阵$A$、观测概率矩阵$B$及初始概率分布向量$\pi$确定，可表示为$\lambda =(A,B,\pi )$。$\pi$和$A$决定状态序列，$B$决定观测序列。

• 状态转移概率矩阵$A=[a_{ij}{]}_{N\times N}$，其中$$a_{ij}=P(i_{t+1}=q_j\mid i_t=q_i)，i=1,2,...,N;j=1,2,...,N$$是$t$时刻$q_i$状态下转移到$t+1$时刻$q_j$状态的概率。

• 观测概率矩阵$B=[b_{jk}{]}_{N\times M}$，其中$$b_{jk}=P(o_t=v_k\mid i_t=q_j)，k=1,2,...,M;j=1,2,...,N$$是$t$时刻$q_j$状态下生成观测$v_k$的概率。

• 初始状态概率向量$\pi =({\pi }_i)$，其中$${\pi }_i=P(i_1=q_i),i=1,2,...,N$$是$t=1$时刻处于状态$q_i$的概率。

根据定义，观测序列$O=(o_1,o_2,...,o_T)$的生成过如下：

• Step1: 按照初始状态分布$\pi$产生状态$i_1$
• Step2: 令$t=1$
• Step3: 按照状态$i_t$的观测概率分布$b_{i_t}(k)$生成$o_t$
• Step4: 按照状态$i_t$的转移概率分布 { a i t , i t + 1 } \{a_{i_t,i_{t+1}}\} {ait​,it+1​​}产生状态$i_{t+1}$
• Step5: 令$t=t+1$，若$t<T$，转至Step3；否则，终止

（2）两个基本假设

由定义可知，隐马尔可夫模型有两个基本假设：

• 齐次马尔可夫性假设：隐藏马尔可夫链任意$t$时刻的状态$i_t$只依赖于$t-1$时刻的状态$i_{t-1}$，与其他时刻的状态及观测无关，也与时刻$t$无关，即

$$P(i_t\mid i_{t-1},o_{t-1},...,i_1,o_1)=P(i_t\mid i_{t-1}),t=1,2,...T$$

• 观测独立性假设：任意$t$时刻的观测$o_t$只依赖于该时刻的马尔可夫链的状态$o_t$，与其他观测即状态无关，即

$$P(o_t\mid i_T,o_T,i_{T-1},o_{T-1}...,i_{t+1},o_{t+1},i_t,i_{t-1},o_{t-1},...,i_1,o_1)=P(o_t\mid i_t),t=1,2,...T$$

1.4 E.g.

按如下步骤，产生颜色序列：

• Step1：从4个盒子中等概率选取1个盒子，然后随机抽出1个球，记录颜色并放回
• Step2：按照如下规则选择盒子，从选定的盒子中抽出1个球，记录颜色并放回
  • 如果当前盒子是A：直接选择盒子B
  • 如果当前盒子是B或C：以0.4概率转移到左边盒子，0.6的概率转移到右边盒子
  • 如果当前盒子是D：以0.5的概率停留在盒子D，0.5的概率转移到盒子C

即按照如下马尔可夫链选择盒子：

如此重复$T$次，得到颜色的观测序列。

该例子为一个隐马尔可夫模型，有两个随机序列：

• 状态序列：盒子的序列（隐藏的），长度为$T$
• 观测序列：颜色的观测序列（可观测的），长度为$T$
• 状态集合： Q = { A , B , C , D } Q=\{A,B,C,D\} Q={A,B,C,D}，状态数$N=4$
• 观测集合： V = { 红 ， 白 } V=\{红，白\} V={红，白}，观测数$M=2$
• 初始概率分布：$\pi =(0.25,0.25,0.25,0.25)$
• 状态转移概率分布：$$A=\left[\begin{array}{ccccccc}0& & 1& & 0& & 0\\ 0.4& & 0& & 0.6& & 0\\ 0& & 0.4& & 0& & 0.6\\ 0& & 0& & 0.5& & 0.5\end{array}\right]$$
• 观测概率分布：$$b=\left[\begin{array}{ccc}0.5& & 0.5\\ 0.3& & 0.7\\ 0.6& & 0.4\\ 0.8& & 0.2\end{array}\right]$$
  其中，$$b_{21}=P(o_t=v_1\mid i_t=q_2)=P(o_t=红\mid i_t=B)=0.3,j=2,k=1$$

表示$t$时刻，B盒状态下生成观测为红球的概率为0.3。

2. 三个基本问题

2.1 概率计算问题

已知模型$\lambda =(A,B,\pi )$和观测序列$O=(o_1,o_2,...,o_T)$，计算在模型$\lambda$下观测序列$O$出现的概率$P(O\mid \lambda )$。采用前向（forward）与后向（backward）算法。

2.2 学习问题

已知观测序列$O=(o_1,o_2,...,o_T)$，估计模型参数$(A,B,\pi )$，即使得该模型下观测序列产生的概率$P(O\mid \lambda )$最大，可使用极大似然估计法估计参数。

如果将观测序列看做观测数据$O$，而状态序列看做不可观测的隐数据$I$，则隐马尔可夫模型可看做是一个含有隐变量的概率模型

$$P(O\mid \lambda )=\sum _{I}P(O\mid I,\lambda )P(I\mid \lambda )$$可使用EM算法（Baum-Welch算法）实现隐马尔可夫模型的训练。

2.3 预测问题

已知模型$\lambda =(A,B,\pi )$和观测序列$O=(o_1,o_2,...,o_T)$，计算使得条件概率$P(I\mid O)$最大的状态序列$I=(i_1,i_2,...,i_T)$，即给定观测序列，求对应的最可能的状态序列，又称解码问题。

维比特算法应用动态规划搞笑求解最优路径，即概率最大的状态路径。