nlp文本分类task2多任务预训练模型优化

根据多次实验，发现有以下几个方式可以将模型预测分数提升：
1.模型预训练。利用比赛数据及相同领域数据对模型进行预训练。
2.去掉数据权重及损失值权重。实验表明，不加入数据权重及损失值权重（只将三个任务损失值权重相加）的效果反而会更好。
3.采用更大的模型进行训练。Roberta_large模型要优于bert模型，xlnet模型要优于Roberta_large模型。
4.利用伪标签进行训练。训练好的模型预测测试集。将预测结果加入到训练集中重新进行训练。