LZL2020LZL的博客

解决方法就是加载模型时进行模型限定，这也呼应上前文说的，你可以先进行模型的引用然后跳到模型本身里面查找问题，这里其实是由于数据处理阶段没有将label的类别转换成int，因此及时限定了模型进行二分类也走的BCE二元交叉熵损失，BCE是需要遵守输入尺度和模型输出尺度匹配的，因此出现述该问题。模型的下载需要手动去huggingface官网下载，请注意此处的模型保存和上述模型保存至本地不同，上面保存是为了使得模型自动适应/匹配AutoTokenizer，而这里则是保存模型的权重文件。预训练后所生成的文件夹。

这里挑选数据集可以多加附加项，这样数据集更贴合我们自身所需任务。

attention_mask和padding是配套使用的，当人为去修改padding的时候，也要把attention_mask里面的参数进行修改。2）attention_mask：为1的表示可以跟谁算，为0的不会参与到self-attention的进一步计算。那上述的两种代码中都是使用了自动分词器选择，它是由checkpoint指定的预训练模型关联的，不用我们自己选择tokenizer，它自动帮我们选择好了。这样就将下图的文件保存至所想要保存的文件夹中，后续可以实现模型本地加载，离线运行，不用挂梯子了。