语言模型-预训练模型（三）

1.传统方法与预训练方法的比较

思想解读： 预训练的概念就和我们人读书和工作一样；先是通过基础教育到大学毕业，学习了通用的基础知识，这个做大多数工作，我们都能够快速学习和上手。模型预训练同样如此；避免了每一个下游任务都从零开始训练模型

由于语言模型不需要特别的标注数据，所以非常适合做预训练的目标。

2.预训练方式 --BERT

Mask Language Model （MLM）

2.1训练任务

1.完型填空
Bidirectional Language Model
a.依照一定概率，用[mask]掩盖文本中的某个字或词

b.通过遮住词两侧的内容，去预测被遮住的词

2.句子关系预测
Next Sentence Prediction
[CLS] 师徒四人历经艰险[SEP] 取得真经[SEP] -> True
[CLS] 师徒四人历经艰险[SEP] 火烧赤壁[SEP] -> False

释义: 通过上下两句话，去训练模型去判断是否为上下句子关系，即一个二分类任务。但是目前大家普遍不太使用该训练任务，因为这个规律模型比较容易学习到。