1. 马尔可夫模型
下面介绍几个马尔可夫模型中的重要概念:
1.1 一阶马尔可夫假设 (first order Markov assumption)
n时刻的观测值只依赖于n-1时刻的观测值,即:
p(xn∣xn−1,xn−2,...x0)=p(xn∣xn−1)p(x_n|x_{n-1},x_{n-2},...x_0) = p(x_n|x_{n-1})p(xn∣xn−1,xn−2,...x0)=p(xn∣xn−1)
1.2 转移概率
ai,j=p(xn=Sj∣xn−1=Si)a_{i,j} = p(x_n = S_j|x_{n-1} = S_i)ai,j=p(xn=Sj∣xn−1=Si)
1.3 时不变性
2.隐马尔科夫模型
2.1 引入问题
假设有一个人被锁在房间里待了很多天,但是他想知道外面的天气是什么。他猜测天气的唯一途径就是看每天来照顾他的人有没有带伞。
这样,观测状态(observed state)就是{带伞,不带伞}; 隐藏状态(hidden state)就是{晴,雨}。
2.2 图像化表示
绿色圆圈是hidden state, 这是一个马尔可夫模型;
紫色圆圈是observed state, 只由对应的hidden state决定
2.3 形式化表示
- { S1,S2,...SN}\{S_1,S_2,...S_N\}{ S1,S2,...SN}表示hidden states的状态
- { K1,K2,...KN}\{K_1,K_2,...K_N\}{ K1,K2,...KN}表示observation的状态
- Π={ πi}\Pi=\{\pi_i\}Π={ πi}是初始状态的概率
- A={ ai,j}A=\{a_{i,j}\}A={ ai,j}是transition probability ai,j=p(xn=j∣xn−1=i)a_{i,j}=p(x_n=j |x_{n-1}=i)ai,j=p(xn=j∣xn−1=i)
- B={ bi,j}B=\{b_{i,j}\}B={ bi,j}是observation state probability bi,j=p(yn=Kj∣xn=Si)b_{i,j}=p(y_n=K_j|x_n=S_i)bi,j=p(yn=Kj∣xn=S