海晨威文章内容总结

于 2022-12-30 22:26:16 发布
阅读量519 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 自然语言处理 文章标签： 自然语言处理 transformer 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/songyunli1111/article/details/128501421
本文是对海晨威所写文章的综合梳理，主要涵盖自然语言处理的BERT/Transformer深入解析，包括NLP面试问题、Attention、Mask处理等；深度学习中的BatchNorm、LayerNorm等Norm知识点，LSTM结构详解；强化学习的基本概念和入门指导；以及一些个人杂文和感悟。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

写文章有段时间了，但内容比较杂，想到啥写啥。

这次文章就做一个归类总结，方便小伙伴系统的看这些内容。

自然语言处理

BERT/Transformer细节： 在基本了解BERT和Transformer的基础上，以下的文章能够帮助你更深入地理解它们的细节

超细节的BERT/Transformer知识点

史上最细节的自然语言处理NLP/Transformer/BERT/Attention面试问题与答案

为什么 Bert 的三个 Embedding 可以进行相加？

transformer中multi-head attention中每个head为什么要进行降维？

bert最后输出的字表示是使用固定的分类层进行分类的，为什么能区分一字多义?

NLP中的常见操作：包括 Attention，Mask，变长序列的padding，Embedding等，都是NLP中的常见操作，能够帮助你更好的理解和训练你的模型

最低0.47元/天 解锁文章

200万优质内容无限畅学
对话文本摘要概述
海晨威
11-30 2735
文本摘要是NLP领域一个重要的任务，它以凝练的语句去描述原始文本中的主要信息。文本的形式是多种多样的，其中，对话文本是人们在不同交流场景下产生的交互式文本。提取对话中的主要信息，在实际应用中可以减少人理解的时间，也可以更好地辅助后续可能的任务。 本篇文章会探究对话文本的特点和对话摘要的实现，基于三个不同的对话场景（会议、医患沟通、客服对话），分别介绍一篇有代表性的近期顶会paper，并在最后总结不同对话文本特点对应的解决方案。 引言 当前，对文本摘要的研究主要集中在新闻领域，而从广泛的对话文本（包括会议、访
超细节的 BatchNorm/BN/LayerNorm/LN 知识点
海晨威
05-29 981
1、BN在训练和测试时的差异 2、BN中的移动平均 Moving Average是怎么做的 3、移动平均中 Momentum 参数的影响 4、Norm中的标准化、平移和缩放的作用 5、不同Norm方法中都有哪些参数要保存 6、BN和LN 有哪些差异 7、为什么BERT使用LN，而不使用BN 8、如何去理解在哪一个维度做Norm
从会议、医患沟通和客服对话三大场景看对话文本摘要技术
Paper weekly
10-27 1886
©PaperWeekly 原创 ·作者 | 海晨威研究方向 | 自然语言处理文本摘要是 NLP 领域一个重要的任务，它以凝练的语句去描述原始文本中的主要信息。文本的形式是多种多样的，其中，...
代码+实例：深度学习中的“轴”全解
Paper weekly
09-11 457
©PaperWeekly 原创 ·作者｜海晨威学校｜同济大学硕士生研究方向｜自然语言处理在深度学习中，轴，指的就是张量的层级，一般通过参数 axis/dim 来设定。很多张量的运算、...
NLP中各框架对变长序列的处理全解
Paper weekly
07-15 1474
©PaperWeekly 原创 ·作者｜海晨威学校｜同济大学硕士生研究方向｜自然语言处理在 NLP 中，文本数据大都是变长的，为了能够做 batch 的训练，需要 padding 到相...
【Pre-Training】超细节的 BERT/Transformer 知识点
zenRRan的博客
11-14 920
❝知乎：海晨威链接：https://zhuanlan.zhihu.com/p/132554155编辑：阿泽的学习笔记❞随着 NLP 的不断发展，对 BERT/Transformer 相关...
​超细节的BatchNorm/BN/LayerNorm/LN知识点
Paper weekly
05-20 903
©PaperWeekly 原创 · 作者 |海晨威研究方向|自然语言处理Norm，也即 Normalization，已经是深度神经网络模型中非常常规的操作了，但它背后的实现，原理和作用等，其实我们可以理解的更细致，本文会以最常用的 BatchNorm 和 LayerNorm 为例（其他 Norm 方法大同小异），通过 Q&A 的形式，去深入理解关于 Norm...
lstm 变长序列_NLP中各框架对变长序列的处理全解
weixin_42352080的博客
01-04 533
来源：paperweekly作者 | 海晨威原文链接：请点击文章仅用于学习交流，如有侵权请联系删除在 NLP 中，文本数据大都是变长的，为了能够做 batch 的训练，需要 padding 到相同的长度，并在实际训练中忽略 padding 部分的影响。在不同的深度学习框架中，对变长序列的处理，本质思想都是一致的，但具体的实现方式有较大差异，下面针对 Pytorch、Keras 和 TensorFl...
海晨股份：2021年年度报告.PDF
03-02
海晨股份作为一家在物流服务领域深耕细作的企业，其年度报告是外界了解公司过去一年成就与挑战，预测未来发展趋势的重要窗口。2021年，海晨股份交出了一份怎样的成绩单？公司在面对新的市场环境和竞争态势下，又将...
20210610-中金公司-海晨股份-300873-大市场，小公司，高成长.pdf
06-10
10. **政策环境影响**：文章提到了中国近五年来与供应链和物流相关的政策文件，以及它们对物流业和供应链发展的影响，包括提升产业链供应链现代化水平、完善自由贸易试验区布局、降低物流成本、推动物流业制造业融合...
D:\海晨\BMS\项目资料\规范文档
03-23
标题中的“D:\海晨\BMS\项目资料\规范文档”表明这是一份与某个名为“海晨”的公司或项目相关的文档集合，存放在电脑的特定目录下，主要用于存储BMS（Battery Management System，电池管理系统）项目的规范文档。...
教学课件-连锁配送网络技术(2版-高海晨).ppt
最新发布
04-25
连锁配送网络技术是指在流通领域中，通过一定的组织形式和管理方式，将分散的店铺联合起来，实现统一采购、统一配送、统一管理，从而提高整个零售体系的效率和服务质量。连锁经营是现代化的商业经营方式，其特点在于...
NLP中Mask全解
海晨威
08-15 3687
Mask 在NLP中是一个很常规的操作，也有多种应用的场景和形式，下面尝试从以下几个方面去全（用了夸张的修辞手法）解Mask，并尽可能地辅以图片说明和代码解释： Mask的作用： 处理非定长序列 RNN中的Mask Attention中Mask 防止标签泄露 Transformer中的Mask BERT中的Mask XLNet中的Mask Mask的作用 对于NLP中mask的作用，先上结论： 1、padding mask：处理非定长序列，区分padding和非padding部分，如在RN
深度学习中的轴/axis/dim全解
海晨威
09-13 3319
在深度学习中，轴，指的就是张量的层级，一般通过参数axis/dim来设定。很多张量的运算、神经网络的构建，都会涉及到轴，但到底取哪个轴，却不是那么容易把握。 下面会针对轴/axis/dim，基于 Pytorch 的代码和实例，尝试去理清张量运算中轴/axis/dim的设定。 轴的概念 对于一个张量，它的shape有几维，就对应有几个轴，也就对应着张量的层级，最直观的可以通过看最前面的方括号数量来判断。 import torch a = torch.Tensor([[1,2,3], [4,5,6]]) b =
超细节的 Self-Attention 知识点 - 附源码解析
海晨威
10-24 2986
在当前的NLP领域，Transformer/BERT已然成为基础应用，而 Self-Attention 则是两者的核心部分，下面尝试用Q&A和源码的形式深入 Self-Attention 的细节。 Q&A 1、 Self-Attention 的核心是什么？ Self-Attention的核心是用文本中的其它词来增强目标词的语义表示，从而更好的利用上下文的信息。 2、Self-Attention 的时间复杂度是怎么计算的？ Self-Attention时间复杂度：O(n2⋅d)O(n^2 \c
BERT如何解决一词多义问题
海晨威
02-27 2896
对于同一个词，不同的上下文会让这个词融合不同的语义信息，使得同一个词在不同的上下文中有不同的embedding，去表征不同的语义，从而区分一词多义。
超细节的对比学习和SimCSE知识点
海晨威
08-24 2398
2020年的Moco和SimCLR等，掀起了对比学习在CV领域的热潮，2021年的SimCSE，则让NLP也乘上了对比学习的东风。下面就尝试用QA的形式挖掘其中一些细节知识点，去更好的理解对比学习和SimCSE。 1、如何去理解对比学习，它和度量学习的差别是什么？ 2、对比学习中一般选择一个batch中的所有其他样本作为负例，那如果负例中有很相似的样本怎么办？ 3、infoNCE loss 如何去理解，和CE loss有什么区别？ 4、对比学习的infoNCE loss 中的温度常数的作用是什么？ 5、S
史上最细节的自然语言处理NLP/Transformer/BERT/Self Attention面试问题与答案
海晨威
01-31 2073
这是我花费了两个周末整理和筛选的，可能是史上最细节的自然语言处理NLP面试问题与（部分）答案啦，主要聚焦目前处于NLP舞台中央的Transformer/BERT/后BERT/Self Attention。 筛选的问题会深入到算法/模型更细节的地方，而尽量避免大而泛的问题。本文希望能帮助你对Transformer/BERT的理解再深一层，而这也要求你对上面的算法/模型有基本的认识，主要包括这两部分（后BERT的模型可以自行查找）： 1、论文：论文是最一手的资源，没有各方解读的杂音 Transformer:
海晨股份招股说明书pdf
08-17
招股说明书通常包括公司的基本情况、业务模式、财务状况、前景展望、风险提示、募集资金的用途等内容，为投资者提供了全面的了解和评估该公司的基础。 在海晨股份招股说明书PDF中，我们可以了解到该公司是一家怎样...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

海晨威

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值