机器学习基础-概率图模型

原创 已于 2025-01-07 10:07:12 修改 · 508 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能

于 2025-01-05 21:57:05 首次发布

（一阶）马尔科夫模型的基本概念

状态、状态转换概率、初始概率

状态转移矩阵的基本概念

隐马尔可夫模型（HMM）的基本概念

条件随机场（CRF）的基本概念

实际应用中的马尔科夫性

  • 自然语言处理：

    • 在词性标注、命名实体识别等任务中，句子中的词语通常被视为一个序列，每个词的词性标签只依赖于前后几个词的标签，这可以通过马尔科夫模型来建模。

  • 金融预测：

    • 股票价格走势有时被假设为具有马尔科夫性，即今天的股价变化主要取决于昨天的收盘价，而不是更早的历史数据。

  • 生物信息学：

    • DNA 序列中的碱基排列可以看作是一个马尔科夫链，用于基因预测和功能注释。

HMM和CRF的比较

特性隐马尔科夫模型 (HMM)条件随机场 (CRF)
模型类型生成式模型：建模联合概率 P(X,Y)判别式模型：直接建模条件概率 $P(Y
依赖关系观测值仅依赖于当前隐藏状态；隐藏状态遵循马尔科夫性允许更复杂的依赖结构，包括观测值之间的依赖
特征函数固定特征，主要为状态转移概率和发射概率支持丰富的特征函数，可以捕捉复杂的关系
标记偏置问题容易出现标记偏置问题通过全局优化避免标记偏置
适用场景更适合观测值独立的任务，如语音识别中的音素分类更适用于需要考虑上下文信息的任务，如词性标注、命名实体识别
灵活性与表达能力结构简单，参数较少，数据量有限时可能更稳定提供更高的灵活性和表达能力，但需注意过拟合风险

主题模型（Topic Model）的基本概念

  • 主要用于自然语言处理NLP
  • 样本为文档，特征为词语
  • 用于从众多文档中发现隐藏的语义主题，相当于对文档聚类，并发现不同词语对不同主题的贡献程度
  • 无监督学习
【详解+推导！！】马尔可夫决策过程
志远的博客
03-20 3万+
马尔可夫决策过程， Markov Decision Process, MDP 文章目录一、为什么需要马尔可夫决策过程？二、马尔可夫决策过程1. 马尔可夫性2. 随机过程3. 马尔可夫过程4. 马尔可夫决策过程三、策略与累计回报1. 策略2. 累计回报四、值函数1. 值函数2. “状态值函数”与“状态-行为值函数”五、什么是强化学习算法？ 一、为什么需要马尔可夫决策过程？ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YTGUytIs-1616223214043)(2021-0
数模笔记-马尔可夫预测
uuuyyhu的博客
08-13 3350
光电赛寄了
[MRP]代码纪录
panbaoran913的博客
11-28 529
MRP """这是MRP迭代过程（Markov Reward Process马尔可夫报酬过程）""" # 迭代 def next_v(_lambda, r_list, old_v_list, weight_list): # _lambda是折扣因子，表示未来报酬的当前价值 new_v_list = [] for j in range(len(old_v_list)): if j != len(old_v_list) - 1: j_sum
马氏链（Markov Chain Model）模型知识详解（1）
最新发布
qq_36812406的博客
06-06 1367
未来状态只依赖于当前状态，而与过去状态无关。PXn1x∣XnxnXn−1xn−1X0x0PXn1x∣XnxnPXn1​x∣Xn​xn​Xn−1​xn−1​...X0​x0​PXn1​x∣Xn​xn​其中，XnX_nXn​是在时间nnn的状态。
关于马尔可夫
TYJ1017的博客
04-28 507
综述阅读过程中，发现许多任务卸载算法都涉及了马尔可夫决策过程和马尔可夫链，故记录备忘。
学习笔记——详解马尔可夫，马尔可夫链，马尔可夫模型，隐马
weixin_51130521的博客
08-07 1万+
1 ，马尔可夫 （Markov）综述 引例：假设我们观测⼀个⼆值变量，这个⼆值变量表⽰某⼀天是否下⾬。给定这个变量的⼀系列观测，我们希望预测下⼀天是否会下⾬。 如果我们将所有的数据都看成独⽴同分布的， 那么我们能够从数据中得到的唯⼀的信息就是⾬天的相对频率； 然而，我们知道天⽓经常会呈现出持续若⼲天的趋势。因此，观测到今天是否下⾬对于预测明天是否下⾬会 有极⼤的帮助。 我们可以使用概率的乘积规则来表示观测序列的联合概率分布，形式为 利用马尔科夫性，可以将上式变为⼀阶马尔科夫..
【机器学习】马尔可夫模型与隐马尔科夫模型
m0_53700832的博客
07-15 4296
马尔可夫模型（Markov Model）是一种用于描述系统状态随时间变化的数学模型。通俗地说，它是一种预测未来状态的工具，假设未来状态只依赖于当前状态，而不依赖于过去的状态。这种假设被称为“马尔可夫性”或“无后效性”。马尔可夫模型是一种非常有用的工具，用于描述和预测系统状态随时间变化的情况。关键是只考虑当前状态，而不考虑历史状态。这使得模型简单且易于计算，适用于许多实际问题，如天气预测、股票市场分析、语言处理等。初始状态分布π\piπ：描述系统初始时刻各状态的概率。状态转移概率矩阵AAA。
强化学习笔记-马尔可夫决策过程
m0_53374676的博客
12-21 1805
以数学的形式来描述智能体在与环境交互的过程中学到一个目标的过程。智能体充当的是作出决策或动作，并且在交互过程中学习的角色，环境指的是智能体与之交互的一切外在事物，不包括智能体本身。
初识马尔科夫模型（Markov Model）
少年一贯快马扬帆，道阻且长不转弯； 要盛大，要绚烂，要哗然； 要用理想的泰坦尼克，去撞现实的冰川； 要当烧赤壁的风，而非借鉴草船； 要为了一片海，就肯翻万山。
02-10 3780
因此，在模型运行过程中，如果当前状态为“晴天”，那么它有80%的概率继续保持“晴天”，20%的概率转移到“阴天”，0%的概率转移到“雨天”。举个例子，如果你想了解天气预测，可以构建一个马尔科夫模型，其中状态表示天气（晴天、阴天、雨天），状态转移概率表示天气的转变情况。因此，transition_prob可以让我们描述状态的随机转移情况，在马尔科夫模型中，它是模拟状态转移的基础。：马尔科夫模型的状态转移是无后效的，即从某一状态出发的概率分布不受先前状态的影响。⑤练习编写代码，深入了解马尔科夫模型的实现细节。
马尔科夫模型 Markov Model
热门推荐
皮皮blog
06-24 12万+
http://blog.csdn.net/pipisorry/article/details/46618991 生成模式（Generating Patterns） 1、确定性模式（Deterministic Patterns）：确定性系统 　　考虑一套交通信号灯，灯的颜色变化序列依次是红色-红色/黄色-绿色-黄色-红色。这个序列可以作为一个状态机器，交通信号灯的不同状态都紧跟着上一个状态。 ...
马尔可夫决策过程
qq_51950429的博客
09-05 2679
总的来说，马尔可夫以及马尔可夫奖励过程，这两者与马尔可夫决策过程最大的区别就是，马尔可夫是智能体自身做出了对应动作后从而引起状态的改变，而前两者则是随波逐流。
初步认识马尔可夫链与马尔可夫链的简单应用
dreamlee97的博客
12-20 1万+
应用随机过程，初步认识马尔可夫链，马尔可夫模型，马尔可夫链的简单应用
知识二: 马尔科夫决策过程
pengyunfenn的博客
10-07 2707
强化学习零基础，7天拿下。
Markov模型|马尔科夫家族、MDP建模+PYTHON实现
qq_52373687的博客
12-21 3954
Markov是一个庞大的家族，是有马尔可夫性质（Markov property）的一类概率模型。其中，在马尔可夫过程中，我们考虑一个状态空间，该空间中的每个状态都与一个特定的概率相关。马尔可夫性质指出，在一个随机过程中，在给定当前状态的条件下，未来状态的条件分布只依赖于当前状态，而与过去的状态无关。换句话说，它具有“无记忆”或“无后效性”的特性。这意味着，在马尔可夫过程中，我们可以仅基于当前状态来预测未来的状态。而且，马尔可夫链（Markov Chain）是描述离散时间马尔可夫过程的一种常见形式。
马尔可夫决策过程及典型例子（一）
ahah12345678的博客
10-11 3020
每次这样的时候，机器人都会决定是否应该（1）主动寻找罐头，（2）保持静止，等待有人给它带来罐头，或者（3）回到基地给电池充电。每当机器人进行搜索时，其电池都有可能耗尽。另一方面，当能级较低时进行的一段时间的搜索使其以概率β变低，并以概率1-β耗尽电池。机器人收集的每个罐子都算作一个单位奖励，而每当机器人必须获取能量时，就会得到的奖励。当能量水平很高时，充电总是愚蠢的，所以我们不将其包括在该状态的动作集中。这些量完全指定了有限状态MDP，由此可以计算出关于环境的任何其他信息，例如状态-动作对的预期奖励，
深入理解强化学习——马尔可夫决策过程：马尔可夫决策过程和马尔可夫过程/马尔可夫奖励过程的区别
冯·诺依曼
11-21 1016
在当前状态与未来状态转移过程中多了一层决策性，这是马尔可夫决策过程与之前的马尔可夫过程/马尔可夫奖励过程很不同的一点。》系列前面的文章讨论到的马尔可夫过程和马尔可夫奖励过程都是自发改变的随机过程，而如果有一个外界的“刺激”来共同改变这个随机过程，就有了马尔可夫决策过程（Markov Decision Process，MDP）。马尔可夫过程/马尔可夫奖励过程的状态转移是直接决定的。综上所述，相对于马尔可夫奖励过程，马尔可夫决策过程多了决策（决策是指动作），其他的定义与马尔可夫奖励过程的是类似的。
学习笔记 —— 详细版 马尔科夫模型及相关背景知识（随机过程、马尔科夫链、马尔科夫性质、马尔科夫过程）
m0_62690134的博客
04-04 3160
对于一阶马尔科夫模型，则有则假设我们的序列状态是. . . . X t − 2 , X t − 1 , X t , X t + 1 . . . ....那么在X t + 1 时刻的状态的条件概率仅依赖于前一刻的状态X t​ 即：
深入理解强化学习——马尔可夫决策过程：策略迭代与价值迭代的区别
冯·诺依曼
12-17 1694
首先我们来看看策略迭代，之前的例子在每个状态都采取固定的随机策略，每个状态都以0.25的概率往上、下、左、右，没有策略的改变。如图下图(b) 所示，我们再次执行策略更新，每个状态里面的值基本都改变了，它们不再上、下、左、右随机改变，而是会选取最佳的策略进行改变。当格子的值确定后，就会产生它的最佳状态，最佳状态提取的策略与策略迭代得出的最佳策略是一致的。状态后，我们应该往下走，这样就会得到最佳的价值。绿色右边的格子的策略也改变了，它现在选取的最佳策略是往左走，也就是在这个状态的时候，最佳策略应该是往左走。
【动手学强化学习】第三章 马尔可夫决策过程 知识点总结
几度热忱的博客
04-08 1290
【动手学强化学习】第三章 马尔可夫决策过程 知识点总结 本章知识点： 马尔可夫性质 马尔可夫过程(也称为马尔可夫链） 马尔可夫奖励过程 马尔可夫决策过程 策略 马尔可夫决策过程的状态价值函数 马尔可夫决策过程的动作价值函数 状态价值函数与动作价值函数的关系 贝尔曼期望方程 MDP马尔可夫决策过程转换为MRP马尔可夫奖励过程 蒙特卡洛方法 占用度量 最优策略 贝尔曼最优方程（Bellman optimality equation）
机器学习：概率图模型详解-王立威
"《机器学习与概率图模型》是北京大学信息科学技术学院王立威教授的一部著作或讲义，主要探讨...《机器学习与概率图模型》深入浅出地探讨了理论基础、实际应用和实用算法，对于理解和实践机器学习具有很高的参考价值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值