贪心学院从BERT到XLNET

最新推荐文章于 2025-04-08 11:16:29 发布
最新推荐文章于 2025-04-08 11:16:29 发布
阅读量552 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_15113429/article/details/104483684
本文探讨了BERT与XLNET两种自然语言处理模型的对比，BERT为真正双向模型但训练测试不一致，XLNET作为自回归模型，通过双流注意力机制和排列语言模型改进了上述不足。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

张俊林的详细解释

在b站看贪心学院最后一节课从BERT到XLNET的分享

上面PPT可以看到

1.XLNET是Autoregressive模型而BERT是Auto-encoding模型,两种模型的对比解释见https://blog.csdn.net/qq_33876194/article/details/98943383

2.XLNET不同于BERT中的self Attention而使用Two-stream Self Attention和Permutation Language Model

https://blog.csdn.net/triplemeng/article/details/94437324

1.ELMO的缺点不是一个真正的双向，不能同时考虑两边 优点是一个训练和测试都一致的模型

2.BERT的缺点是训练和测试不一致，并且不是一个完备的概率函数模型，两个mask是假设独立的  优点是真正的双向模型

3.因此我们要综合上面的优缺点设计一个满足两个模型的优点并且没有上述两个模型的缺点

1.为什么使用双流注意力机制？

    [3-2-1-4]  [3-2-4-1] 上面的两个我们都是用3-2来预测，一个是1，一个是4，那么我们可以使用1,4的位置信息来进行区别

BERT 实战
aliceyangxi1987的博客
09-22 1136
上一篇我们学习了 BERT 的原理，这里我们将它应用在 NER 实战上，我们在前面课程中也学习过 NER，这里我们用同样的数据集来看如何应用 BERT，大家可以与前面的模型进行比较。 另外推荐大家使用 Google 的云端 Jupyter Notebook 开发环境 Colab，自带 TensorFlow、Matplotlib、NumPy、Pandas 等深度学习基础库，还可以免费使用 GPU、T...
从原理到实践：深入理解AIGC文本生成技术
最新发布
AI天才研究院
05-11 1144
随着生成式人工智能的爆发式发展，AIGC（人工智能生成内容）技术正在重塑内容生产范式。本文聚焦AIGC中最核心的文本生成领域，从技术原理、算法实现、工程实践到应用落地展开系统性解析。通过剖析Transformer架构演进、预训练模型训练策略、解码算法优化等关键技术，结合完整的代码实现案例，帮助读者建立从理论到实践的完整知识体系。核心概念：构建技术全景图，解析关键术语与技术谱系架构解析：深度拆解Transformer核心机制与预训练范式算法实现：用Python代码实现核心模块并解析数学原理。
贪心学院transformer模型讲解记录
baidu_15113429的博客
02-18 662
1.FFN层和z1和z2层是不同的，FFN层是隔开的，权重不共享的，而Z1和Z2不是隔开的 2.Q,K,V是借鉴了搜索的思维在里面，Q是query的意思，<K,V>是<key,value>的意思,Q值就是word应该映射一会进行搜索的值，K是搜索的目标，V是目标值，类似K是文档的主题，V是文档的向量，Q是搜索文档的文本。这样就能训练得到word与word之间的关系，不...
《从BERT到XLNet》
weixin_43580252的博客
02-22 211
bert两个缺点（图右）： 被预测单词的联系性没有考虑； discrepancy差异性：训练和测试环境不一致性（mask token） 模型不能改变，改变数据的方式： 位置不能换，那就在模型里增加attention mask 告诉它学习哪些 attention mask 附件：bert中有的mask，有些保持不变，有些改变 左边考虑位置，邮编考虑位置和内容 h考虑位...
碾压Bert？“屠榜”的XLnet对NLP任务意味着什么
AI科技大本营
06-24 2362
作者张俊林，中国中文信息学会理事，中科院软件所博士。目前担任新浪微博机器学习团队AILab负责人。在此之前，张俊林曾经在阿里巴巴任资深技术专家并负责新技术团队，以及...
bert和xlnet
ox180x的博客
10-28 383
1. AR与AE语言模型AR: Autoregressive Language modelingAE: AutoEncoding Language modeling AR语言模型：指的是，依据前面(或后面)出现的tokens来预测当前时刻的token，代表有ELMO,GPT等。AE语言模型：通过上下文信息来预测被mask的token，代表有 BERT , Word...
bert中最大处理序列长度超过512的处理策略
weixin_42419825的博客
09-03 8780
导读：由于bert文本长度最大为512，因此当文本超过512时，需要改进bert。本文就此改进进行阐述。 针对长度超过512的文本，可以应用如下转换策略（预留[CLS]和[SEP]）： （1）head-only：前510tokens （2）tail-only：后510tokens； （3）head+tail：根据经验选择前128和382tokens （4）分段：首先将输入文本（长度为L）分成k = L/510个小段落，将它们依次输入BERT得到k个文本段落的表示。每个段落的representation是最后
【第六部分：项目实战与部署】【20.从 GPT 到 LLaMA：生成式 AI 的原理与应用 ——Transformer 架构、预训练与微调全解析】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
04-08 366
例如处理句子"猫吃鱼"时，模型会计算"吃"与"猫"、"鱼"的关联程度，动态调整权重。
解析pytorch_transformer之tokenization_bert.py
m0_37531129的博客
09-28 3766
''' tokenization_bert.py 主要包含2部分 1. 预训练文件和预训练配置 PRETRAINED_VOCAB_FILES_MAP:预训练vocab_file PRETRAINED_POSITIONAL_EMBEDDINGS_SIZES: 预训练的positional_embedding_size PRETRAINED_INIT_CONFIGURATION...
xlnet：XLNet：用于语言理解的广义自回归预训练
02-03
介绍 XLNet是一种基于新型广义置换语言建模目标的新型无监督语言表示学习方法。 此外，XLNet使用作为主干模型，在涉及长上下文的语言任务中表现出出色的性能。 总体而言，XLNet在各种下游语言任务（包括问题回答，自然语言推断，情感分析和文档排名）上均获得了最新的（SOTA）结果。 有关技术细节和实验结果的详细说明，请参阅我们的论文： 杨志林*，戴子行*，杨一鸣，Jaime Carbonell，Ruslan Salakhutdinov，Quoc V.Le （*：均等） 预印本2019 发行说明 2019年7月16日：XLNet-Base。 2019年6月19日：带有XLNet-Large和代码的初始版本。 结果 截至2019年6月19日，XLNet在20个任务上的表现优于BERT，并在18个任务上取得了最新的成果。 下面是XLNet-Large和BERT-Large之间的一些比较，它们具有相似的模型大小： 阅读理解结果 模型 SQuAD1.1 EM SQuAD2.0 EM BERT-大 72.0 84.1 78.98 XLNet库 80.18 XLNet-大 81.7
XLNet作者讲解XLNet
09-19
Recurrent.ai联合创始人 杨植麟：自然语言理解模型：XLNet
pytorch_chatbot, 使用PyTorch实现出色的聊天.zip
10-09
pytorch_chatbot, 使用PyTorch实现出色的聊天 PyTorch卓越的视频聊天 目的建立一个神奇的手机概要This ChatBot ，我将继续更新这个，作为Jarvis的下一个版本，这是第一个而且也是唯一的开源的开源 ChatBot 。这个 repo 将维持一个基于 PyTo
XLNet 和BERT的区别是什么？
强化学习曾小健
08-26 501
XLNet 和BERT的区别是什么？ 与AR语言模型不同，BERT被归类为自动编码器(AE)语言模型。 AE语言模型的目的是从损坏的输入中重建原始数据。 损坏的输入意味着我们使用在训练前阶段将原始token替换为[MASK]。我们的目标是预测into来得到原来的句子。 AE语言模型的优点是它可以在向前和向后两个方向上看到上下文。 但是AE语言模型也有其不足之处。它在预训练中使用了[MASK]，但是这种人为的符号在finetune的时候在实际数据中时没有的，导致了预训练 — finetune..
XLNet:运行机制及和Bert的异同比较 - 知乎
云淡风轻_的博客
02-01 2709
XLNet在自回归语言模型中，通过PLM引入了双向语言模型。也就是在预训练阶段，采用attention掩码的机制，通过对句子中单词的排列组合，把一部分下文单词排到上文位置。 PLM预训练目标、更多更高质量的预训练数据，transformerXL的主要思想。这就是XLNet的三个主要改进点，这使XLNet相比bert在生成类任务上有明显优势，对于长文档输入的nlp任务也会更有优势。
从BERT、XLNet到MPNet，细看NLP预训练模型发展变迁史
hwaust2020的博客
06-20 1204
文章目录1.BERT 原理及 MLM 简述1.1 Masked Language Model & Next Sentence Predict**1.2 Self-Attention1.3 Denoising Auto Encoder1.4 BERT 缺点2.XLNet 原理及 PLM 简述2.1 排列语言模型 - Permutation Language Model2.2 双流自注意力2.3 双向 AR Model3.MPNet 原理及创新点简述3.1 统一视角3.2 模型架构3.3 MPNet 优
ELMo,GPT, Bert, XLNet 预训练模型对比
muyuu的博客
11-30 1040
Context Based预训练编码器1：自回归语言模型(Decoder-AutoRegression)ELMoELMo简介ELMo的缺点GPTGPT简介GPT的缺点：2：自编码语言模型(Encoder-AutoEncoding)BERTBert的Pretrain:Bert的Fine-tuningBERT的缺点：3：排列语言模型(Encoder-AutoEncoding)XLNetXLNet的构思待研究的部分实验 与预训练编码器对应的是word2vec，glove等浅层词嵌入，这类浅层词嵌入特点是学习到一个
什么是XLNet，它为什么比BERT效果好？
喜欢打酱油的老鸟
02-20 679
2020-02-17 21:10:32 作者：Xu LIANG 编译：ronghuaiyang 导读 介绍最基本的XLNet的原理，理解XLNet和BERT的直觉上的不同点。 在发布后不到一周，我周围的NLP领域的每个人似乎都在谈论XLNet。 是的，“在20个任务上比BERT做得更好”确实吸引了我们的眼球。但更重要的是理解它是如何工作的，以及为什么它比BE...
XLNet：论文阅读笔记 PPT
whxf的博客
07-11 800
参考文献： 论文地址：https://arxiv.org/pdf/1906.08237.pdf 预训练模型及代码地址：https://github.com/zihangdai/xlne 知乎专栏：https://zhuanlan.zhihu.com/p/70473423 阅读笔记主要从以下几个方面展开： Abstract 摘要 Autoregressive LM VS Bert 自回归...
掌握BERT与XLNet：NLP领域的论文与资源汇总
综合以上信息，我们可以明确地了解到，"awesome-bert"这个主题资源包将围绕NLP、BERT、XLNet等关键词展开，其中涉及到的资源包括但不限于： - BERT和XLNet的技术论文，详细介绍了这些模型的原理、结构和训练方法。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值