Bert基础(十)--Bert变体之RoBERTa

最新推荐文章于 2025-07-23 15:43:12 发布
最新推荐文章于 2025-07-23 15:43:12 发布
阅读量1.2k 收藏 17
点赞数 14
CC 4.0 BY-SA版权
分类专栏： Transformer+BERT学习攻略+任务代码实战 文章标签： bert 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Andy_shenzl/article/details/137235058
RoBERTa是BERT的改进版，它取消了下句预测任务，改用动态掩码策略进行预训练，同时采用更大的批量大小和更多数据集。此外，RoBERTa使用字节级字节对编码代替WordPiece进行子词化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

RoBERTa是BERT的另一个有趣且流行的变体。研究人员发现，BERT的训练远未收敛，所以他们提出了几种对BERT模型预训练的方法。RoBERTa本质上是BERT，它只是在预训练中有以下变化。

  • 在掩码语言模型构建任务中使用动态掩码而不是静态掩码。
  • 不执行下句预测任务，只用掩码语言模型构建任务进行训练。
  • 以大批量的方式进行训练。
  • 使用字节级字节对编码作为子词词元化算法。

1 使用动态掩码而不是静态掩码

我们已经知道要使用掩码语言模型构建任务和下句预测任务对BERT模型进行预训练。在掩码语言模型构建任务中，我们随机掩盖15%的标记，让网络预测被掩盖的标记。

我们以句子We arrived at the airport in time为例，在添加标记[CLS]和[SEP]后，我们得到如下标记列表。

tokens = [ [CLS], we, arrived, at<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
RoBERTa 和 BERT 的简介与对比
ZJQ的博客
06-09 297
BERT（Bidirectional Encoder Representations from Transformers） **提出背景**：由谷歌于2019年提出，是自然语言处理领域的里程碑模型，基于Transformer编码器架构，通过**预训练生成双向语言表示**。
Bert基础(十二)--Bert变体之知识蒸馏原理解读
Andy_shenzl的博客
04-03 1271
知识蒸馏(knowledge distillation)是一种模型压缩技术，它是指训练一个小模型来重现大型预训练模型的行为。知识蒸馏也被称为师生学习，其中大型预训练模型是教师，小模型是学生。让我们通过一个例子来了解知识蒸馏是如何实现的。假设预先训练了一个大模型来预测句子中的下一个单词。我们将大型预训练模型称为教师网络。我们输入一个句子，让网络预测句子中的下一个单词。它将返回词表中所有单词是下一个单词的概率分布，如图所示。为了更好地理解，我们假设词表中只有5个单词。
BERT and RoBERTa 知识点整理
Jay_Tang的博客
09-18 2025
往期文章链接目录 文章目录往期文章链接目录BERT RecapOverviewBERT SpecificsThere are two steps to the BERT framework: pre-training and fine-tuningInput Output RepresentationsTasksresultsAblation studiesEffect of Pre-training TasksEffect of Model SizesReplication study of BERT p
bert变体
最新发布
mayaohao的博客
07-23 396
BERT 自提出以来，出现了许多变体，旨在改进模型结构、提升性能或适应不同应用场景。
BERT变体（1）：ALBERT、RoBERTa、ELECTRA、SpanBERT
weixin_43975035的博客
10-19 1878
Author:龙箬。
【深度学习】BERT变体—ALBERT
Dong_ZH的博客
03-06 7300
相较于BERT，ALBERT模型减少BERT模型的参数量；预训练中的Next Sentence Prediction（NSP）任务使用了Sentence Order Prediction（SOP）进行代替；增加了n-gram mask，使用了LAMB优化器来代替AdamW，该优化器在batch size较大时效果更佳。
【深度学习】BERT变体—RoBERTa
Dong_ZH的博客
03-06 1万+
RoBERTa是的BERT的常用变体，出自Facebook的。来自Facebook的作者根据BERT训练不足的缺点提出了更有效的预训练方法，并发布了具有更强鲁棒性的BERT：RoBERTa。RoBERTa通过以下四个方面改变来改善BERT的预训练:在MLM任务中使用动态掩码而不是静态掩码；移除NSP任务，仅使用MLM任务；通过更大的批数据进行训练；使用BBPE作为分词器。
中文指代消解：基于HFL的预训练模型chinese-roberta-wwm-ext，训练评测CLUE WSC2020数据集
01-07
`chinese-roberta-wwm-ext`模型是Roberta（RoBERTa，Robustly Optimized BERT Pretraining Approach）的变体，RoBERTa是在BERT（Bidirectional Encoder Representations from Transformers）的基础上优化而来的。...
BERT: Pre-training of Deep Bidirectional Transformers forLanguag
09-03
BERT的成功催生了一系列基于其架构的变体模型，例如RoBERTa、DistilBERT和ALBERT，这些模型在某些方面对BERT进行了改进，例如通过更大的数据集、更长的训练时间、更少的参数或者网络压缩等。这些改进进一步提升了...
Bert基础(九)--Bert变体之ALBERT
Andy_shenzl的博客
04-01 1562
在接下来的几篇，我们将了解BERT的不同变体，包括ALBERT、RoBERTa、ELECTRA和SpanBERT。我们将首先了解ALBERT。ALBERT的英文全称为A Lite version of BERT，意思是BERT模型的精简版。ALBERT模型对BERT的架构做了一些改变，以尽量缩短训练时间。本章将详细介绍ALBERT的工作原理及其与BERT的不同之处。
BERT家族的那些事——RoBERTa篇
weixin_44686520的博客
10-11 4944
本文是BERT家族系列文章的第二篇，主要是自己对于RoBERTa模型的一些理解，写的不好的地方还请大佬们多多指教。 目录 RoBERTa简介 RoBERTa模型结构 模型结构层面的修改 数据层面的修改 总结 RoBERTa简介 RoBERTa全称：“A Robustly Optimized BERT Pretraining Approach”，从名字上可以看出RoBERTa是对BERT模型做了若干改进。RoBERTa模型在众多数据集上的效果相较于BERT提高了5%-20%， RoBERTa模型结构 Ro
深度学习笔记之BERT(二)BERT精简变体:ALBERT
静静的学习就好
11-22 1047
上一节从Word2vec上下文信息的局限性角度出发，介绍了BERT是如何优化这一问题的，以及BERT的训练策略。本节将介绍BERT的一种精简变体：ALBERT。
一起来学习BERT常见的几个变体
日积月累，天道酬勤
09-26 5692
学习BERT几个常见的变体——ALBERT、RoBERTa、ELECTRA和SpanBERT。
roberta跟bert的对比
热门推荐
baidu_15113429的博客
11-24 1万+
roberta到底改进了什么？ 三个训练改进： 去掉下一句预测(NSP)任务 动态掩码。BERT 依赖随机掩码和预测 token。原版的 BERT 实现在数据预处理期间执行一次掩码，得到一个静态掩码。 而 RoBERTa 使用了动态掩码：每次向模型输入一个序列时都会生成新的掩码模式。这样，在大量数据不断输入的过程中，模型会逐渐适应不同的掩码策略，学习不同的语言表征。 文本编码。Byte-P...
【NLP-03】 文本表达---BERT、RoBERTa、GPT和OpenAI_embedding等模型
qq_38614074的博客
03-07 2470
预训练模型之后的文本表达范式
NLP高频面试题（五十二）——BERT 变体详解
WeLearnNLP
04-23 388
跨层参数共享即让每个 Transformer 层复用同一组权重，而非为每层维护独立参数。这样，模型深度不再线性增加参数量，显著降低内存占用并提升训练效率。在前向计算中，输入依次经过相同的层函数，但由于输入内容不同，仍能实现多层表达能力。ELECTRA 创新性地用替换标记检测（Replaced Token Detection, RTD）取代 MLM：训练一个小型生成器（Generator）在输入中生成候选替换标记，然后让判别器（Discriminator）对每个位置判断该标记是真实（来自原文）还是被替换。
BERT的youxiu变体：ALBERT论文图解介绍
AI公园
05-18 604
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：amitness编译：ronghuaiyang正文共：3116字21图预计阅读时间：9分钟导读ALBERT作为...
Text models —— BERT，RoBERTa， BERTweet，LLama
weixin_59234335的博客
05-18 823
BERT，全称Bidirectional Encoder Representations from Transformers，BERT是基于Transformer的Encoder（编码器）结构得来的，因此核心与Transformer一致，都是这种机制使得模型能够捕捉到句子中词语之间远距离的依赖关系，这是传统RNN/LSTM难以高效实现的能力。
Bert及Deberta、Roberta的简介
ylzf2008的博客
01-11 1768
BERT是最早提出的双向预训练模型，开创了预训练-微调的范式。RoBERTa通过去除 NSP 和增加更多训练数据等优化，提升了 BERT 的性能。DeBERTa通过引入解耦注意力机制和增强的解码器设计，在处理复杂文本时表现得更为强大。这三种模型在 NLP 领域中都有广泛的应用和影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Andy_shenzl

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值