《深度学习进阶 自然语言处理》学习笔记（2）

最新推荐文章于 2025-06-23 09:16:34 发布
最新推荐文章于 2025-06-23 09:16:34 发布
阅读量745 收藏 3
点赞数
CC 4.0 BY-SA版权
文章标签： 自然语言处理 机器学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42585582/article/details/115089898
本文探讨了RNN模型如何处理语言时序信息，重点介绍了RNN的结构、损失函数和困惑度评价，以及LSTM的出现，解决了梯度消失和爆炸问题，通过多层LSTM和门控机制提升性能。还涉及seq2seq模型在文本生成和机器翻译中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前篇链接 link

目录

第五章 RNN

前面介绍的word2vec是前馈神经网路，无法很好的处理时序信息，引入RNN来解决问题

语言模型

目标：求后验概率 P( w_t | w_1, W_2, …, W_t-1 )，从而求出语言模型的联合概率

RNN模型

模型架构

在这里插入图片描述

  1. 输入：将时序单词序列 { w0, w1, w2, …, wt } 在空间上展开，依次输入到对应的RNN单元中（即上图等号右侧的一个个RNN框）
  2. 输出：对于输入单词 w_n，输出 w_n 接下来出现的一个单词的概率向量

一个典型RNN单元的计算图

在这里插入图片描述
h_prev为前一个RNN单元输出的隐藏状态，x为当前时序下输入的单词向量，tanh为激活函数

损失函数的设置

在这里插入图片描述

  1. 总结——基于时序序列输出的结果序列 { x0, x1, … , xT-1 } 与正确标签{ t0, t1, … , tT-1 }的逐元素二分类交叉熵损失的求和取均值

评价指标

  1. 困惑度

总结

  1. RNN 具有环路，可以记忆隐藏状态；

  2. 通过展开 RNN 的循环，可以将其解释为多个 RNN 单元水平方向上延伸的神经网络，可以通过基于时间的反向传播进行学习(BPTT)；

  3. 在学习长时序数据时，要生成长度适中的数据块，进行以块为单位的截断 BPTT 学习(Truncated BPTT)；

  4. Truncated BPTT 只截断反向传

最低0.47元/天 解锁文章

200万优质内容无限畅学
Lewis_Sean
关注
《深度学习进阶：自然语言处理》第一章学习（第一部分）
weixin_46421489的博客
08-02 809
前言 这本书有个我非常喜欢的地方就是他非常注重原理部分，而不是去借助框架实现，这种书真的要去细细阅读而不是快速的阅读完，那没有效果，一共8章，一天一章，这期间要穿插去做项目，这里的话，我就先不要paddle框架去实现了，先用代码去实现之后再去用框架，上本书什么时候我可以在去读一下，是真的好用，然后的话，我必须注重基础呀，那么开始吧！ 很喜欢的一句话：技术已经进步到了可以轻松进行复制的时代。当下是一个可以轻松复制照片、视频、源代码和库的便捷世界。但是，无论技术多么发达，生活多么便利，经验都是无法轻松复制的。自
《深度学习进阶：自然语言处理(第4章)》-读书笔记
weixin_52128497的博客
04-12 702
假设词汇量有 100 万个，CBOW 模型的中间层神经元有 100 个。输入层和输出层存在 100 万个神经元，在如此多的神经元的情况下，中间的计算过程需要很长时间。本章将重点放在 word2vec 的加速上，来改善 word2vec。
《深度学习进阶 自然语言处理》学习笔记（3）Attention
qq_42585582的博客
03-31 518
前篇链接 link 目录第八章 AttentionAttention结构seq2seq的改进—— h 到 hsseq2seq的改进—— 解码器层结构调整Attention层的引入总结 第八章 Attention 上一章我们使用 RNN 生成了文本，又通过连接两个 RNN，将一个时序数据转换为了另一个时序数据。我们将这个网络称为 seq2seq，并用它成功求解了简单的加法问题。之后，我们对这个 seq2seq 进行了几处改进，几乎完美地解决了这个简单的加法问题。 本章我们将进一步探索 seq2seq 的可
【深度学习解惑】什么是截断的反向传播（truncated BPTT）？为什么要使用它？
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
06-23 1072
什么是截断的反向传播（truncated BPTT）？为什么要使用它？
【DL学习笔记12】《深度学习进阶——自然语言处理》—— ch05: RNN
m0_71268863的博客
07-14 1110
1.概率和语言模型：概率视角下的word2vec、语言模型 将CBOW模型用作语言模型？；2. RNN：循环的神经网络、展开循环、Backpropagation Through Time、Truncated BPTT、Truncated BPTT的mini-batch学习；3. RNN的实现：RNN层的实现、Time RNN层的实现；4. 处理时序数据的层的实现：RNNLM的全貌图、Time层的实现；5. RNNLM的学习和评价：语言模型的评价、RNNLM的学习代码、RNNLM的Trainer类......
【DL学习笔记10】《深度学习进阶——自然语言处理》——ch03: word2vec
m0_71268863的博客
07-09 559
1. 基于推理的方法和神经网络：神经网络中单词的处理方法；2. 简单的word2vec：CBOW模型的推理与学习；3. 学习数据的准备：上下文和目标词、转化为one-hot表示、数据预处理总结；4. CBOW模型的实现；5. word2vec的补充说明：CBOW模型和概率、skip-gram模型、两个模型的区别分析、基于计数与基于推理总结...
深度学习进阶 自然语言处理
qq_46276079的博客
05-13 1149
《深度学习进阶-自然语言处理》-【日】斋藤康毅著。个人学习整理简单笔记，欢迎一起学习探讨, 小白一枚，希望寻找小伙伴.zip
02-04
《深度学习进阶-自然语言处理》是日本学者斋藤康毅所著的一本深入探讨自然语言处理（NLP）的书籍，对于那些希望通过深度学习技术理解和解决自然语言问题的人来说，是一本非常有价值的资源。自然语言处理是人工智能...
深度学习进阶领域：自然语言处理的笔记与相关代码
最新发布
08-13
深度学习进阶领域：自然语言处理的笔记与相关代码，是一份深入探讨如何将深度学习应用于自然语言处理的综合性文档。这份文档不仅包含了详尽的理论知识，还提供了丰富的实践案例和相应的代码实现，对于希望在深度学习...
《深度学习进阶：自然语言处理(第7章)》-读书笔记
weixin_52128497的博客
04-15 1754
语言模型根据已经出现的单词输出下一个出现的单词的概率分布。一种可能的方法是选择概率最高的单词。在这种情况下，因为选择的是概率最高的单词，所以结果能唯一确定。也就是说，这是一种“确定性的”方法。另一种方法是“概率性地”进行选择。根据概率分布进行选择，这样概率高的单词容易被选到，概率低的单词难以被选到。在这种情况下，被选到的单词（被采样到的单词）每次都不一样。
《深度学习进阶：自然语言处理(第3章)》-读书笔记
weixin_52128497的博客
04-11 1554
基于计数的方法根据一个单词周围的单词的出现频数来表示该单词。具体来说，先生成所有单词的共现矩阵，再对这个矩阵进行 SVD，以获得密集向量（单词的分布式表示）。在现实世界中，语料库处理的单词数量非常大，使用基于计数的方法就需要生成一个庞大矩阵，但对如此庞大的矩阵执行 SVD 显然是不现实的。基于推理的方法的主要操作是“推理”。当给出周围的单词（上下文）时，预测“？”处会出现什么单词，这就是推理。基于推理的方法引入了某种模型，我们将神经网络用于此模型。
深度学习进阶：自然语言处理入门:第1章 神经网络的复习
weixin_44953928的博客
12-07 2897
深度学习进阶：自然语言处理入门第1章　神经网络的复习1.1 数学和Python的复习1.1.1  向量和矩阵1.1.2  矩阵的对应元素的运算1.1.3  广播1.1.4  向量内积和矩阵乘积1.1.5  矩阵的形状检查1.2 神经网络的推理1.2.1  神经网络的推理的全貌图激活函数输出层和激活函数 代码1.2.2  层的类化及正向传播的实现两层神经网络 (简单的只有正向传播，没有反向传播)1.3 神经网络的学习1.3.1  损失函数SoftmaxWithLoss类（ ）1.3.2  导数和梯度1.3.3
读书笔记：深度学习进阶-自然语言处理（俗称鱼书二）
博客而已
01-13 2336
还记得半年前开始看并给鱼书一做笔记的热情，现在想进一步了，作者和翻译作者都非常高效给力了，那么快就出了第二本鱼书-《深度学习进阶-自然语言处理》，本书一共八章，希望每周可以看完并完成一个章节的笔记，深度学习冲冲冲~在啃第一本鱼书的时候，是采用了先看在总结的方式，这次看第二本决定边看边总结，看完一遍可能还得回去再看第二遍，希望这次边学边思的效率高些，加油加油！自然语言处理是让计算机处理自然语言的技术。
基于深度学习的自然语言处理笔记
weixin_42003117的博客
02-17 647
基于深度学习的自然语言处理 一 、线性模型 我对线性模型的认知就是类似初中学习的函数f(x)=xw+b,f(x)就是y^值。 在二分类问题中，预测的结果无非就是两个0或者1，即正面或者负面，而y^的结果在分类问题中，将f(x)过一个函数，可以是sign函数，得到-1，+1。过sigmoid函数，将值的区间映射到[0,1]。在多分类问题中，过softmax函数，得到每一类别的概率值。 损失函数的理解： 损失函数是计算真实值与预测值之间的差距的结果，损失函数越小，说明准确率就越高。损失函数的表示有很多种，每一种
基于深度学习的自然语言处理--笔记（第六章）
qq_42623328的博客
08-28 451
第6章 文本特征构造 文章目录前言6.1 NLP分类问题中的拓扑结构二、使用步骤1.引入库2.读入数据总结 前言 这种从文本数据到具体向量的映射称为“特征提取”和“特征表示”，通过“特征方程”所完成 。 决定正确的特征是使一个机器学习项目取得成功的一部分。深度神经网络减轻了对特征工程的需要，当然，核心特征还是要被定义的。尤其是对语言数据，其以一系列离散的符号形式存在，这个序列需要使用微妙的方法转换成为一个数值向量。 6.1 NLP分类问题中的拓扑结构 词 我们面对的都是词(word)，例如"dog",
基于深度学习的自然语言处理--笔记（第七章）
qq_42623328的博客
08-30 356
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码
《基于深度学习的自然语言处理》笔记
Algernon98的博客
06-04 311
NLP概念笔记
Python NLP深度学习进阶：自然语言处理
活到老学到老
01-25 997
要学习和掌握NLP深度学习进阶知识，建议你对基本的深度学习和Python编程有一定的了解，并深入学习上述提到的库和模型。同时，实践和动手做项目也非常重要，可以通过练习数据集上的各种NLP任务来提高自己的实战能力。自然语言处理（Natural Language Processing，NLP）是人工智能领域中的一个重要分支，涉及到处理和理解人类语言的方法和技术。除了上述模型和技术之外，还有许多其他的深度学习模型和技术可以用于NLP任务，如卷积神经网络（CNN）、生成对抗网络（GAN）等。
Stanford 深度自然语言处理 学习笔记（一）
Chailyn_Trista的博客
07-30 605
1、深度学习与机器学习的主要区别： 深度学习自动学习特征，机器学习使用人工特征，所做工作在于数值优化。 深度学习是表征学习（representation learning,自动学习特征 ）的一个分支，得到多层特征。 人工特征通常over-specified,incomplete. 而learned features 更加灵活通用，训练过程中不断学习和提升。 2、为什么NLP难？ 人类语言...
深度学习进阶：自然语言处理学习笔记分享
资源摘要信息:"《深度学习进阶-自然语言处理》是由日本作者斋藤康毅所著的一本关于深度学习与自然语言处理领域知识的书籍。本书籍适合对自然语言处理技术有兴趣的读者，特别是那些已经具备一定深度学习基础知识，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值