BERT简单理解

拙小拙

于 2021-01-13 15:36:20 发布

阅读量409

点赞数

CC 4.0 BY-SA版权

分类专栏： # bert

本文链接：https://blog.csdn.net/qq_35182128/article/details/112568349

bert 专栏收录该内容

2 篇文章

订阅专栏

博客介绍了BERT模型，它由论文提出并在11个NLP任务中表现出色。当前对BERT的使用多为微调，微调时依据特定梯度下降loss。其输入包含token、position和segment embedding，最后4层拼接可实现较好预测结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

                    
                    BERT是论文 Pre-training of Deep Bidirectional Transformers for Language Understanding 所提出的模型，在11个NLP任务中取得好的结果。
现在研究，对于BERT的使用，一般是微调，微调时根据自己的数据，梯度下降loss(loss = 分类器的loss + Mask的loss)，得到BERT模型当作词典使用或直接使用BERT的[CLS]进行预测。
BERT的输入为 token embedding（包含词的信息） + position embedding（包含句子中词的位置信息）+segment embedding （是否为两句话） 。
BERT最后4层拼接，可以实现较好的预测结果。