李宏毅机器学习（30）

最新推荐文章于 2021-11-29 15:35:30 发布
原创 最新推荐文章于 2021-11-29 15:35:30 发布 · 305 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Q-Learning的基本概念，包括Critic的评价方法、Q-learning的算法执行过程，以及一系列优化技巧，如Target Network、Exploration、Replay Buffer、Double DQN、Dueling DQN等。此外，还探讨了在连续动作空间中的Q-learning策略，如Actor+Critic方法和Pathwise derivative policy gradient。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Q-Learing

Critic

相比于Policy，Critics的评价方法很不一样：他有一个状态评价函数VπV^πVπ，输入是Environment的一个状态State，然后根据Actor也就是πππ的情况，输出从当前这个状态开始到结束，一共能获得多少期望的Reward，记为Vπ(s)V^π(s)Vπ(s)。
比如打砖块时，VπV^πVπ会输出从现在到结束大概能得多少分。
比如下围棋，VπV^πVπ会输出现在的局势下双方胜率是多少。
在这里插入图片描述
在这里插入图片描述

那么，如何做这个VπV^πVπ呢？一般有两种办法。

第一种，蒙特卡洛法。先观察πππ玩很多次游戏。然后看到一个state后将结果尽量向某一局游戏结果贴合。
在这里插入图片描述
第二种，时序查分算法。我们只需要知道从状态sas_asa​到状态sbs_bsb​需要做Actionaaa，获得Rewardrr

最低0.47元/天 解锁文章

200万优质内容无限畅学
【详解+推导！！】Pathwise Derivative Policy Gradient（PDPG）
志远的博客
04-09 2588
Pathwise Derivative Policy Gradient（PDPG） 是一种强化学习方法，可以解决连续动作的问题。 文章目录1. 前缀知识2. 如何理解这个算法与Actor-Critic对比理解与Q-Learning对比理解3. 算法过程 1. 前缀知识 如果想比较深刻的理解Pathwise Derivative Policy Gradient（PDPG）需要提前了解一下内容： Policy Gradient：https://blog.csdn.net/qq_33302004/article
gamma分布 pytorch_Probability distributions - torch.distributions
weixin_34026997的博客
01-14 1385
概率分布 - torch.distributionsdistributions 包含可参数化的概率分布和采样函数. 这允许构造用于优化的随机计算图和随机梯度估计器. 这个包一般遵循 TensorFlow Distributions 包的设计.通常, 不可能直接通过随机样本反向传播. 但是, 有两种主要方法可创建可以反向传播的代理函数. 即得分函数估计器/似然比估计器/REINFORCE和pathw...
torch.distributions 详解
热门推荐
Vic_Hao的博客
06-05 2万+
distributions包含可参数化的概率分布和采样函数，这允许构造用于优化的随机计算图和随机梯度估计器。 通常，不可能直接通过随机样本反向传播。但是，有两种方法可以创建可以反向传播的代理函数，即得分函数估计器/似然比函数估计器/REINFORCE和pathwise derivative估计器。REINFORCE通常被视为强化学习中策略梯度方法的基础，并且pathwise derivative估...
【强化学习】Actor-Critic
weixin_44378835的博客
09-24 1211
文章目录1 Actor-Critic1.1 前言1.2 Actor-Critic1.3 Advantage Actor-Critic1.4 Asynchronous Advantage Actor-Critic(A3C)1.5 Pathwise Derivative Policy Gradient(PDPG) 1 Actor-Critic Advantage Actor-Critic：A2C Asynchronous Advantage Actor-Critic：A3C 1.1 前言 由于Actor与En
【李宏毅深度强化学习笔记】6、Actor-Critic、A2C、A3C、Pathwise Derivative Policy Gradient
ACL_lihan的博客
01-28 8203
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient） 【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法 【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea） 【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 【李宏毅深度强化学习笔记】5、Q-learning用于连续动作 (N...
李宏毅机器学习全套资料
08-31
《李宏毅机器学习全套资料》是一份全面深入的机器学习教育资源，主要涵盖了教学演示文稿、作业解决方案以及详尽的课程内容。这份资源对于想要深入理解和掌握机器学习这一领域的学习者来说，无疑是一份宝贵的参考资料...
李宏毅机器学习hw4.zip
最新发布
04-08
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
李宏毅机器学习HW5.zip
04-08
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
【ML】 李宏毅机器学习课件及代码.zip
04-02
机器学习（Machine Learning, ML）是一种应用人工智能（AI）领域的科学技术，它使得计算机系统能够从数据中自动学习和改进，而无需显式编程。在机器学习的过程中，算法会通过识别和挖掘数据中的模式来构建一个模型，...
李宏毅机器学习2021HW3食物数据集
06-01
《李宏毅机器学习2021HW3食物数据集》是针对图像识别与分类的一份重要资源，尤其适用于深度学习领域的实践与研究。这个数据集由著名计算机科学家李宏毅教授团队提供，旨在帮助学生和研究人员提升在食物图像识别方面...
Reinforcement Learning: An Introduction 第二版
08-28
Richard S. Sutton 教授的经典教材《增强学习导论》（Reinforcement Learning: An Introduction）第二版，2018年在线草稿版
深度强化学习 - Actor-Critic
01-30
Actor-Critic Asynchronous Advantage Actor-Critic (A3C) Pathwise Derivative Policy Gradient
机器学习-54-RL-06-Actor-Critic(强化学习-A2C,A3C,Pathwise Derivative Policy Gradient)
迷雾总会解
01-23 758
演员-评论家算法(Actor-Critic Algorithm)是一种结合策略梯度和时序差分学习的强化学习方法。在 Actor-Critic 算法 里面，最知名的方法就是 A3C(Asynchronous Advantage Actor-Critic)。
Actor Critic算法简要理解
Site1997的博客
04-08 3334
问题： 给定一个state，如何找到一个action，使得这个action带来的reward最大？ Actor Critic算法： 网络定义 Actor和critic分别是两个结构不同神经网络。 （其实，它们还各有一个与自身结构相同，但是参数权值不同的孪生网络。一个记为eval_net，一个记为target_net。所以一共是四个网络） ActorActorActor：输入(state)，输出(a...
policy gradient算法原理和代码学习笔记(没价值，看下一篇)
hehedadaq的博客
02-13 1380
policy gradient算法原理和代码学习笔记（没价值看下一篇） 文章目录policy gradient算法原理和代码学习笔记（没价值看下一篇）前言絮叨：需要解决的问题：算法流程图：网络结构图： 前言絮叨： 这篇博客没啥用，没质量，几乎没有好的信息量，劝退吧，大致算是一个我的笔记本。。。 大家英语好的话，直接看这位大佬的介绍，感觉思路更清晰： http://karpathy.github.i...
EasyRL 强化学习笔记 9章节（Actor-Critic）
strawberry47的博客
11-29 342
## Actor-Critic `演员-评论家算法(Actor-Critic Algorithm)`是一种结合`策略梯度`和`时序差分学习`的强化学习方法。借助critic进行单步更新。 - `A3C`：Asynchronous Advantage Actor-Critic - `A2C`：Advantage Actor-Critic policy gradient：给定同样的action同样的state，可能会有不同的G。
Lee Hung-yi强化学习 | (6) Actor-Critic、A2C、A3C、Pathwise Derivative Policy Gradient
sdu_hao的博客
09-03 291
Lee Hung-yi强化学习专栏系列博客主要转载自CSDN博主 qqqeeevvv，原专栏地址 课程视频 课件地址 1. 回顾 Policy Gradient G表示在状态s采取动作a一直玩到游戏结束所得到的cumulated reward。这个值是不稳定的，因为在某一个state采取同一个action，最后的结果不一定相同。因为state的变化也是有随机性的。 虽然经过多次实验后，可能会发现G最后会变成一个比较稳定的分布，那么理论上收集足够多的数据就能解决这一问题。但是因为policy gradie
强化学习(十三) 策略梯度(Policy Gradient)
weixin_33709590的博客
12-18 1150
　　　　在前面讲到的DQN系列强化学习算法中，我们主要对价值函数进行了近似表示，基于价值来学习。这种Value Based强化学习方法在很多领域都得到比较好的应用，但是Value Based强化学习方法也有很多局限性，因此在另一些场景下我们需要其他的方法，比如本篇讨论的策略梯度(Policy Gradient)，它是Policy Based强化学习方法，基于策略来学习。 　　　　本文参考了Sutt...
【笔记2-4】李宏毅深度强化学习笔记（四）Actor-Critic
cindy_1102的博客
02-27 8399
李宏毅深度强化学习- Actor-CriticAsynchronous Advantage Actor-Critic (A3C)Review – Policy GradientReview – Q-LearningActor-CriticPathwise Derivative Policy Gradient 李宏毅深度强化学习课程 https://www.bilibili.com/video/a...
Policy Gradient Methods in Reinforcement Learning
庞琳卓的博客
05-18 3512
强化学习中的策略梯度方法详解。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值