判别模型与生成模型的区别

1. 比较

判别模型求解的思路是：条件分布------>模型参数后验概率最大------->（似然函数$\cdot$ 参数先验）最大------->最大似然
例如：最大熵模型、SVM、决策树、神经网络、条件随机场
生成模型的求解思路是：联合分布------->求解类别先验概率和类别条件概率
例如：HMM、朴素贝叶斯、玻尔兹曼机、VAE.

2.判别模型：

1.条件随机场 (conditional random field, CRF)

给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。可应用于标注问题。

3.生成模型：

1、朴素贝叶斯：
2、混合高斯模型：
3、隐马尔可夫模型 (HMM)

由隐藏的马尔可夫链随机生成观测序列，是生成模型。HMM是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。包含三要素：初始状态概率向量pie，状态转移概率矩阵A，观测概率矩阵B。

reference:

1. zhihu 判别模型与生成模型区别;
2. 生成模型 VS 判别模型