隐马尔可夫模型 Hidden Markov Model

最新推荐文章于 2024-09-11 17:46:38 发布

原创

最新推荐文章于 2024-09-11 17:46:38 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #生成模型 #隐马尔可夫模型 #HMM

本文详细介绍了隐马尔可夫模型（HMM），它是一个生成模型，涉及状态转移概率矩阵A、观测概率矩阵B和初始状态概率分布π。HMM满足马尔可夫性和观测独立性假设。文章探讨了前向算法和后向算法用于计算观测序列概率，并讨论了基于极大似然估计和EM算法的学习方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

Hidden Markov Model 隐马尔可夫模型

Hidden Markov Model 隐马尔可夫模型

隐马尔可夫模型也是一个生成模型。是一个用来描述系统隐性状态的转移和隐性状态的表现概率的概率模型。

概念

什么是隐性状态？

隐性的马尔科夫链随机生成一个状态序列，其中状态是隐性的，也即是外界观察不到的状态。我们称为隐性状态。下文简称状态。

状态之间转移的概率，由一个状态转移概率矩阵 $A$ 表示:
$A=[a_{ij}]_{N\times N} \\ a_{ij}=P(i_{t+1}=q_j|i_t=q_i),i=1,...,N;j=1,...,N$
$a_{ij}$ 表示t时刻下的状态 $q_i$ 在 $t + 1$ 时刻转移到状态 $q_j$ 的概率。

什么是观测？

隐性状态的表现，也就是每个状态会生成一个对应的观测 observation，由此也产生一个观测序列。

观测概率矩阵用 $B$ 表示：
$B=[b_{j}(k)]_{N\times N} \\ b_j(k)=P(o_t=v_k|i_t=q_t),k=1,...,M;j=1,...,N$
$b_j(k)$ 表示t时刻下状态 $q_j$ 生成观测 $v_k$ 的概率。

初始状态概率分布，用 $\pi$ 表示，表示初始时刻下每个状态的概率。

实际上，HMM观测不到系统状态的转移序列，只能观测到系统状态的表现序列。HMM模型可用一个三元组来表示，即 $\lambda=(A,B,\pi)$ 。

HMM需满足的条件：

状态的转移必须满足马尔可夫性，即假设的马尔可夫链在任意t时刻下的状态都只与前一时刻相关，与其它时刻的状态及观测无关。
观测独立性假设。即观测之间是独立的。
状态必须能够大概被估计。

概率计算

给定HMM模型 $\lambda=(A,B,\pi)$ 和当前 $T$ 时刻的观测序列 $O=(o_1,...o_T)$ ，计算观测序列出现的概率 $P(O|\lambda)$ 。

前向算法

前向概率：给定模型 $\lambda$ ， $t$ 时刻观测序列为 $o_1,...,o_t$ ，且状态为 $q_i$ 的概率。其实就是时序上从 $t = 1$ 开始往后推
$a_t(i)=P(o_1,o_2,...,o_t,i_t=q_i|\lambda)$
观测序列的概率：
$t=1:\; a_1(i)=\pi_ib_i(o_1),i=1,2,...,N \\ t=1,2,...,T-1:\;a_{t+1}(i)=[\sum_{j=1}^N a_t(j) a_{ji}]b_i(o_{t+1}),i=1,2,...,N \\ P(O|\lambda)=\sum_{i=1}^N a_T(i)$