机器学习笔记：反向传播

最新推荐文章于 2023-11-19 18:08:30 发布
原创 最新推荐文章于 2023-11-19 18:08:30 发布 · 297 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #神经网络 #深度学习

本文详细探讨了反向传播在神经网络中的应用，包括如何利用链式法则计算梯度，共享路径的概念，以及forward pass和backward pass的过程。重点讲解了前馈网络的反向传播思想，并结合实例说明了参数更新的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1 共享路径

对于每一个可学习的参数w，我们都需要通过梯度下降更新它的值。而我们可以使用反向传播的思路来求解损失函数在某一个参数上的loss

 

如上图所示，W_L,W_{L-1}可以用如下方式运算 

可以发现 ，上图红色圈起来的部分是共享的

2 使用反向传播的条件

1，链式法则成立（任何时候都成立）

2，计算图无环

2.1 链式法则

3 forward pass VS backward pass

根据链式法则，C对w的偏导数可以分为前向pass和后向pass

 3.1 forward pass

结果就是相应的input x的值

 

3.2 backward pass

backpass 又可以分成两项：

前一项就是我们相对应的激活函数的微分

 如果a被作为input，输入到了w3和w4两个neuron中，那么根据链式法则，有上面一行

 

综合一下有： 

 

 4 反向的前馈神经网络思考反向传播

 对于这个，我们可以想成反向的前馈神经网络：

 ​​​​

 

 

 

举例说明反向传播算法
Bluenapa的博客
11-13 1524
最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一些问题，或者看到大篇的公式觉得好像很难就退缩了，其实不难，就是一个链式求导法则反复用...
神经网络学习笔记（三）：反向传播
最新发布
weixin_73743190的博客
10-29 848
反向传播（Backpropagation）是一种用于训练神经网络的算法。它基于链式法则（chain rule）来计算损失函数（loss function）关于神经网络中每个权重（weight）的梯度（gradient）。在神经网络中，输入数据通过多个隐藏层进行前向传播（forward propagation），最终得到输出。这个输出与真实的目标值（target value）进行比较，计算出损失函数的值，损失函数衡量了模型预测结果与真实结果之间的误差。
机器学习笔记7 - 反向传播
weixin_41774576的博客
08-02 425
理解反向传播 back propagation 作用 首先需要明白反向传播（back propagation）的作用： 深度学习的训练是损失函数（loss function）最小化的过程，一般采取梯度下降法求解。那么怎么计算梯度呢？这就要用到back propagation了。 计算一个数学表达式的梯度是很直接的，但计算是昂贵的。而反向传播算法使用简单的方法有效的减少了计算量，反向传播...
机器学习系列12：反向传播算法
SuperFeng
03-14 766
当我们要运用高级算法进行梯度下降时，需要计算两个值，代价函数和代价函数的偏导数： 代价函数我们之前已经知道怎么求了，现在只需要求代价函数的偏导数即可。 采用如下方法，先进行前向传播算法，然后再进行反向传播算法（Backpropagation Algorithm），反向传播算法与前向传播算法方向相反，它用来求代价函数的偏导数。具体过程看下图： 用 δ 作为误差，计算方法为： ...
【机器学习】反向传播
sword_csdn的博客
10-20 543
目录概述正向传播误差的反向传播权重更新梯度消失与梯度爆炸 概述 反向传播算法使用链式求导法则将输出层的误差反向传回给网络，使网络中的权重有了较简单的地图计算方法。像TensorFlow，Pytorch有现成的反向传播实现。 正向传播 首先定义一个简单的神经网络，正向传播的过程如下所示 以此类推，到达预测值y的位置如下。 误差的反向传播 接着计算预测值与真实值的误差 接着可算出上一层的误差，本层的误差由“下一层的误差”乘以“它们之间的权重”。 权重更新 然后权重的更新如下所示。 以此类推到最后一层
机器学习-反向传播
小呆苗的博客
05-18 508
机器学习-反向传播简单易懂的解释 直观理解： 数学层面讲，反向传播就是链式求导法则 程序实现讲，反向传播就是通过动态规划实现 思想： 根据网络输出的答案和正确答案之间的误差，不断调整网络的参数。 假设训练一个分类网络，输入一个目标逐层向前计算后，得到该物体属于每一类的一个可能性的概率，每个神经网络的初始参数是随机赋予的，然后我们根据网络输出与正确答案之间差距，由后向前调整网络的参数。不断地输入和进行调整。 注意： BP算法在训练数据上表现得很好，但是在新数据上却不行。因此一般将数据集划分为训练集和验证集。
机器学习笔记：神经网络反向传播算法解析
3、理解反向传播：反向传播从输出层开始，计算每个节点的误差，并沿网络传播回错误信号。每个神经元的误差是其输出与预期输出的差值，通过链式法则计算出误差对每个权重的贡献。 4、展开参数：在反向传播过程中，...
李宏毅《机器学习》笔记：7.反向传播
羊老羊
09-28 648
2021.09.25 LeeML-Notes：P14 【主要参考】 https://www.jianshu.com/p/765d603c76a0 https://blog.csdn.net/weixin_38347387/article/details/82936585 https://www.bilibili.com/video/BV1Zg411T71b https://zhuanlan.zhihu.com/p/28821475 文章目录7.1 反向传播是做啥的？ 7.1 反向传播是做啥的？ 前向传
机器学习笔记【2】：反向传播算法学习
weixin_44767875的博客
06-28 434
反向传播算法学习 我们利用梯度下降算法来学习权重（weights）和偏置（biases） 那么如何计算代价函数的梯度？ 一个快速计算梯度的算法，就是广为人知的反向传播算法（backpropagation） #背景 反向传播算法最早于上世纪70年代被提出，但是直到1986年，由David Rumelhart, Geoffrey Hinton, 和Ronald Williams联合发表了一篇著名论文之后，人们才完全认识到这个算法的重要性。这篇论文介绍了几种神经网络，在这些网络的学习中，反向传播算法比之前提出的
机器学习算法 —— 反向传播
Humanlike_
04-06 2041
一、简介   反向传播算法，也叫BP（Backpropagation）算法，是一种在神经网络中用于根据误差更新各层连接权重的算法，其核心为梯度下降。 二、理论  （1）梯度   在二元函数的情形，设函数f(x,y){f(x,y)}f(x,y)在平面区域D{D}D内具有一阶连续偏导数，则对于每一点P0(x0,y0)∈D{P_0(x_0,y_0)\in{D}}P0​(x0​,y0​)∈D，都可定出...
机器学习Machine Learning学习笔记——反向传播
qq_53554565的博客
07-16 614
深度学习反向传播学习笔记——参考李宏毅老师机器学习课程
反向传播——机器学习
公众号：风景邮递Yuan的博客
11-23 3104
反向传播就是要将神经网络的输出误差，一级又一级地传播到神经网络的输入。在该过程中，需要计算每一个权重对总的损失函数的影响， 即损失函数对每个权重的偏导。根据权重对误差的影响，再乘以步长，就可以更新整个神经网络的权重。当一次反向传播完成之后，网络的参数模型就可以得到更新。更新一轮之后,接着输入下一个样本， 算出误差后又可以更新一轮，再输入一个样本，又来更新一轮，通过不断地输入新的样本迭代地更新模型参数，就可以缩小计算值与真实值之间的误差，最终完成神经网络的训练。
机器学习-反向传播算法
这里是标题
06-26 494
反向传播算法详细图文教程
反向传播_快速理解机器学习中的反向传播
weixin_39828960的博客
01-13 435
在过去的10年里，最佳的机器学习实施方式(例如面部识别和语音识别器)是由一种称为“深度学习”的技术产生的。深度学习是由神经网络组成的，它是通过分析训练实例来完成某些任务的一种方法。神经网络的神经元是如何从训练中学习的呢?有三个步骤：让你的神经网络估计输出评估您的网络运行情况。根据步骤2中的评估修改/教授您的神经网络。又称反向传播步骤1.让你的NN通过forward pass进行估计当您使用神经网络...
吴恩达-机器学习(5)-反向传播
u014351944的博客
09-03 517
Cost Function and Backpropagation Cost Function L：代表神经网络的层数 SlSlS_l：第l层的神经元个数 K：输出神经元的个数 神经网络的代价函数 Backpropagation Algorithm 使用梯度下降，最重要的就是要计算偏导 δ(l)jδj(l)\delta^{(l)}_j表示第l层第j个节点的误差 ...
机器学习笔记之反向传播算法
Steven的博客
04-14 2280
代价函数 确认标记方法： 假设神经网络的训练样本有 m 个，每个包含一组输入 x 和一组输出信号 y，L 表示神经网络层数，S_l​ 表示第 l 层的单元数(神经元数量)，S_L​ 代表输出层的单元数。 假设有如下的神经网络和训练集： 图中下半部分左侧是二元分类问题，右侧是多类别分类问题。 普通 Logistic回归 中的代价函数： J(θ)=−1m[∑i=1...
李宏毅机器学习课程7~~~反向传播
jiandanjinxin的专栏
07-30 1385
到底为什么基于反向传播的纯监督学习在过去表现不佳？Geoffrey Hinton总结了目前发现的四个方面问题：带标签的数据集很小，只有现在的千分之一. 计算性能很慢，只有现在的百万分之一. 权重的初始化方式笨拙. 使用了错误的非线性模型。 深度学习=许多训练数据+并行计算+规模化、灵巧的的算法链式法则反向传播直接套用链式法则先计算链式法则里面的第一项计算链式法则第二项，第二项继续使用链式法则链式法则
【机器学习】033_反向传播
Yukiice的博客
11-19 320
【学习笔记】机器学习_033：回顾了前向传播，学习了反向传播的原理；通过机器学习中的计算图理解反向传播；并使用Sympy自行求导
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值