笔记：ML-LHY: Recursive Structure

最新推荐文章于 2021-04-19 16:21:36 发布
原创 最新推荐文章于 2021-04-19 16:21:36 发布 · 230 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了递归结构(Recursive Structure)在情感分析领域的应用，对比了其与循环网络(RNN)的区别，并探讨了几种不同的递归模型，包括矩阵向量递归网络和树LSTM等。此外还提到了递归模型在句子相似性判断等任务中的可能性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

简单介绍RNN更通用的一个递归结构Recursive Structure，在Sentiment Analysis 情感分析上应用。
pdf 视频

Recurrent Structure and Recursive Structure

Sentiment Analysis 情感分析

在这里插入图片描述
上面 f f f都是同一个Function(hidden layer参数一样)，循环网络可以看成是递归网络的特例。

Recursive Model

在这里插入图片描述

f函数需要设计成这样：
在这里插入图片描述
即输入2个词需要相乘，但是 x T W x x^TWx xTWx得到是一个scalar，所以进行vector size次： ∑ i = 0 V s i z e x T W i x \sum_{i=0}^{Vsize}x^TW_ix ∑i=0Vsize​xTWi​x，再加上串联相乘： W x Wx Wx。

demo:
在这里插入图片描述

http://nlp.stanford.edu:8080/sentiment/rntnDemo.html

另一种更复杂的f函数：

Matrix-Vector Recursive Network
在这里插入图片描述
词对应的vector可以拆分成包含自身信息的vector和包含影响其他词关系的matrix。

Tree LSTM
在这里插入图片描述

More Applications

处理可以做Sentiment Analysis ，也可以做Sentence relatedness在这里插入图片描述
NN输出的类别换成：相关、不相关、、、

以上参考李宏毅老师视频和ppt，仅作为学习笔记交流使用

react-music-lhy:基于react16+ react-router4+ typescript react-redux的移动端音乐播放器
05-06
一个适合练手的react项目 项目正在用hooks重构 体会vue与react项目区别 声明：本项目参考了滴滴大佬的vue项目，原vue项目请关注 项目运行 后端项目启动 ...项目笔记 D1 1、搭建项目 2、alias与tsconfig
matlab流量代码程序-lhy_experiment:刘红雨毕业论文代码
05-23
在“matlab流量代码程序-lhy_experiment”项目中，我们可以看到刘红雨同学利用MATLAB进行流量控制算法的实现，这在信号处理、通信系统或者流体动力学研究中都是非常常见的应用场景。 1. **MATLAB编程基础** 在...
第十九节 Recursive Structure
Reast1nPeace的博客
08-21 225
李宏毅2020机器学习深度学习：Recursive Structure
梆子井欢喜坨的博客
04-19 419
可以认为Recurrent Structure是Recursive Structure的一种子集。 以情感分析任务为例 一个递归的结构是这样的，隐藏层h的维度要和输入x相同。 从语法结构上进行解释：“very”要和“good”放在一起，再被“not”否定。 希望“very”和“good”经过函数f(会是一个复杂的NN)得到的结果，意思为“very good” 这个network要处理一些复杂的情况， 如知道"not"会反转另一个输入的语义 知道"very"会强调另一个输入的语义 一次训练过程如下
笔记：ML-LHY-GAN
upup
02-25 246
视频 pdf 1. introduction Basic Idea of GAN 注意上面最后一行是加号 算法大致： 随机初始化Generator参数。 迭代第k次(k1=1k_1 = 1k1​=1)： 从真实图片中采样m笔数据：{x1,x2,…,xm}\left\{x^{1}, x^{2}, \ldots, x^{m}\right\}{x1,x2,…,xm}，标签为真 从某个分布中随机采样m笔噪音数据：{z1,z2,…,zm}\left\{z^{1}, z^{2}, \ldots, z^{m.
笔记：ML-LHY-7 Backpropagation
upup
07-23 235
这节课主要说了神经网络的一种求梯度方式：反向传播。原来只理解在链式求导上，而这节课阐述了反向传播实际也是在反向求一个神经网络 梯度下降 不过是求线性回归、逻辑回归还是神经网络都是使用梯度下降方法:) 那么神经网络求梯度如下 网络参数： θ={w1,w2,⋯ ,b1,b2,⋯ }\theta=\left\{w_{1}, w_{2}, \cdots, b_{1}, b_{2}, \cdots\right\}θ={w1​,w2​,⋯,b1​,b2​,⋯} 梯度为： ∇L(θ)=[∂L(θ)/∂w1∂L(θ)/.
笔记：ML-LHY-1 Regression
upup
07-13 344
回归问题 损失函数 L(w,b)=∑n=1N(y^n−(b+w⋅xn))2\mathrm{L}(w, b)=\sum_{n=1}^{N}\left(\hat{y}_{n}-\left(b+w \cdot x_{n}\right)\right)^{2}L(w,b)=n=1∑N​(y^​n​−(b+w⋅xn​))2 更一般的有(W=(w1,w2,...,wi)W=(w_1,w_2,...,w_i)W=(w1​,w2​,...,wi​))： L(W,b)=∑n=1N(y^n−(b+∑i=1Kwi⋅xn))2\ma
笔记：ML-LHY-22: Ensemble
upup
10-25 386
Framework of Ensemble 简单来说，Ensemble就是组合多种不同的模型进行学习的方式。 Bagging 简单的model：大的Bias，小的Variance 复杂的model：小的Bias，大的Variance 组合的情况下，Error rate随着model的复杂度下降然后又升高。 有多个复杂的model进行平均，就能达到小的bias和小的variance。bagging要做的就是这个事情。 步骤： 对原来训练数据进行放回采用，比如上面采样4次，有可能一笔数据在多个子集合用到
笔记：ML-LHY: ELMO, BERT, GPT
upup
01-18 282
Embeddings from Language Model (ELMO)，做的是Contextualized Word Embedding Bidirectional Encoder Representations from Transformers (BERT)，其实就是Encoder of Transformer，训练方法，以及应用示例：Sentiment analysis, Document Classification, Slot filling, Natural Language Infere.
笔记：ML-LHY-5 Logistic Regression
upup
07-22 307
这节课主要说了 Logistic Regression和Linear Regression关系以及为什么Logistic Regression不能用Squared Error Logistic Regression是一种Discriminative 方法和上节课假设高斯分布求概率的Discriminative 做比较 Multi-class Classification问题 从Logistic Regression的限制到Logistic Regression的连接，再到Neural Network .
笔记：ML-LHY-3 Gradient Descent
upup
07-19 313
自适应学习速率 Adaptive Learning Rates 一般情况，update次数ttt越多学习率η\etaη越小： ηt=η/t+1\eta^{t}=\eta / \sqrt{t+1}ηt=η/t+1​ 这是一个和ttt相关的函数，但是这是不够的，考虑不同参数使用不同η\etaη Adagard 公式： wt+1←wt−ηtσtgtw^{t+1} \leftarrow w^{t}-\frac{\eta^{t}}{\sigma^{t}} g^{t}wt+1←wt−σtηt​gt 那么，σt\sigm
get data from Nacos error,dataId:inspur-digital-bspplus-lhy
10-27
根据提供的引用内容，您遇到的问题可能是...至于您提到的"dataId:inspur-digital-bspplus-lhy"，我无法确定它是否与您的问题有关，因为引用内容中没有提到它。如果您能提供更多的信息，我可以更好地帮助您解决问题。
DeepLearning-LHY21-Notes-master
最新发布
06-12
深度学习 HTML 链接 01_Regression_P1 02_Regression_P2 03_GeneralGuidance_Overfitting 04_Local Minimum And Saddle Point 05_Batch and Momentum 06_Adaptive Learning Rate 07_Batch ...26_Expl
BUPTlhuanyu#react-music-lhy#页面切换与异步数据请求bug1
07-25
页面切换与异步数据请求bug场景：页面有异步数据请求，在数据返回之前，页面已经切换，因此执行this.setState的时候，组件已经卸载导致发生错误。解决办法
傅里叶变换推导(FT、IFT)
upup
01-03 5256
part1: 三角函数的正交性 三角函数系 {0,1,sin⁡x,cos⁡x,sin⁡2x,cos⁡2x,⋯ ,sin⁡nx,cos⁡nx}\{0,1, \sin x, \cos x, \sin 2x, \cos 2 x, \cdots ,\sin nx, \cos nx \}{0,1,sinx,cosx,sin2x,cos2x,⋯,sinnx,cosnx} 其中，0=sin⁡0x0=\sin 0x0=sin0x，1=cos⁡0x1=\cos 0x1=cos0x，n=0,1,2⋯n = 0,1,2\cdot
数字图像处理：霍夫变换(Hough Transform)
upup
11-29 3294
直线检测 图像空间的直线可以在霍夫空间中表示为一个点，同样的，图像空间的点可以在霍夫空间表示为一条直线。而图像空间多个点在霍夫空间就表示为多条直线。 观察上图发现，如果在图像空间中的点共线，那么在霍夫空间中对应的直线将相交，交点即为图像空间中直线的斜率kkk和截距qqq。 当在图像空间中存在多个直线时，那么在霍夫空间就会有多个交点。采用投票方法计算交点得票(处理误差可使用NMS)，当得票大于给定阈值，则认为在图像空间中检测到直线。 但是使用斜距式表示直线存在缺点：当直线存在xxx轴时，斜率∞\i
论文笔记：YOLOv3: An Incremental Improvement(yolo v3)
upup
08-30 3049
一、基本信息 标题：YOLOv3: An Incremental Improvement 时间：2018 引用格式：Redmon, Joseph, and Ali Farhadi. “Yolov3: An incremental improvement.” arXiv preprint arXiv:1804.02767 (2018). 二、研究背景 YOLOv1： 提出和R-CNN不同的方式，去掉检测Proposal步骤，利用网格划分粗略位置，然后使用回归预测进行微调。虽然速度很快，但是每个网格只有2个bb
论文笔记：Rich feature hierarchies for accurate object detection and semantic segmentation(R-CNN)
upup
07-12 2810
一、基本信息 标题：Rich feature hierarchies for accurate object detection and semantic segmentation 时间：2014 领域：物体识别 引用格式：Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the
离散傅立叶变换推导(DF、IDFT)
upup
01-05 2425
mazonex离散傅立叶变换视频笔记 需要先了解傅里叶变换 周期为2π2\pi2π的函数的复数形式展开(傅里叶级数) 在上一篇文章中part4中提到周期T=2LT=2LT=2L函数的复数形式展开为： f(t)=∑n=−∞∞Cneinωt(1.1) \begin{aligned} f(t) &=\sum_{n=-\infty}^{\infty} C_{n} e^{i n \omega t} \end{aligned}\tag{1.1} f(t)​=n=−∞∑∞​Cn​einωt​(1.1) 其中，.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值