关于padding的小细节

最近因为需要用BERT-CRF模型做一个英文数据的实体抽取模型训练，因为github上BERT-CRF大多是对中文数据做NER， 这里特此记录一下处理过程中的解决方法与思路，废话不多说直接上代码，这里的代码模版参考的是 CLUENER2020项目下的BERT-CRF模型代码, 主要修改部分在 collate_fn 部分的 batch数据的 padding与aligning处理。

本文探讨了如何通过优化Padding策略，提高基于Bert的文本分类模型的训练速度。我们比较了两种不同的Padding方式：一种是将输入数据统一填充到最大长度512，另一种是只将每个Batch中的数据填充到Batch中最长的样本长度。通过实验结果证明，后者显著减少了训练时间，且不影响模型的性能。

last_hidden_state 代表了BERT模型对输入文本的编码表示，其维度为[batch_size, sequence_length, hidden_size]，其中，batch_size表示批处理中的样本数量；sequence_length表示每个样本的序列长度，即输入文本的令牌数量；hidden_size表示BERT模型的隐藏状态的维度大小，通常是预训练模型的参数之一

Bert学习笔记一、组成结构二、Bert输入表示三、做预训练：MLM+NSPMLM / Masked LM - 掩码语言模型NSP - 下一句预测（next sentence prediction）四、如何提升Bert下游任务效果 参考文章【BERT原理详细介绍：https://blog.csdn.net/weixin_46425692/article/details/108927400】 一、组成结构 Transformer是一个encoder-decoder的结构，由6层编码器和6层解码器构成。其中en

当我们使用 tokenizer 处理输入序列时,如果输入序列的长度不足 max_length,那么 tokenizer 就需要添加填充标记来将输入序列补足到 max_length 的长度。- right: 添加在输入序列的右侧(结尾)所以,tokenizer.padding_side = “left” 这个设置的作用就是指定 tokenizer 添加填充标记到输入序列的开头。所以,这个设置的作用就是指定 tokenizer 添加填充标记(padding)的位置,从而影响最终的输入序列。

在使用MLLM做推理的时候，为了加快推理速度，在batchsize=8的情况下进行推理，但生成的文本成乱码。发现是padding_side的问题，decoder-only的LLM因为是紧接着prompt的文本生成，padding_side应该取left。而encoder-decoder的模型是在encoder编码的向量输入下生成，因此padding_side应该取right。注意padding_side取left。

处理后位置会变得不一样，因此需要返回offset_mapping，知道被处理后的每个token是对应于原始的哪些字符；：在做序列标注、信息抽取等任务时，我们获取的原始数据标签是严格对应于原始的文本字符，于是在。（7.快速调用方式有现成的）句子（字符串）转换为编码。

原文链接：https://blog.csdn.net/weixin_46425692/article/details/108890831?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163175571916780274115633%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=163175571916780274115633&

1. 背景 BERT是预训练模型，能够显著提高下游任务效果，不使用label样本。 成功的原因在于， 代理任务的积累 从简单的CBOW， skipgram，最终到 Masked-LM，nsp。 深层网络 越是深层、大容量的网络，越能抽取高层的特征、存储更丰富的知识，Resnet，各种 norm技术，SBBB结构（ Shortcut 、BottleNeck、 Branches, BatchN...

BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练语言模型，由Google在2018年提出。BERT可以在大规模的未标注文本上进行预训练，然后在各种下游NLP任务上进行微调，取得了很好的效果。BERT的主要贡献在于将双向预训练引入了Transformer架构中，使得模型能够更好地理解上下文信息，从而在下游任务中表现更加出色。本文将介绍BERT网络的原理与实战，包括预训练和微调两个部分。

当truncation参数设置为True时，如果输入文本长度超过了max_length，将会进行截断操作；如果输入文本的长度超过了max_length，则会进行截断（truncation）以确保序列的长度不超过max_length。如果输入文本的长度不足max_length，将会进行填充（padding）以使序列长度一致。填充后的序列长度将与max_length参数指定的长度一致。对于不足max_length长度的序列，进行填充。t：填充后的序列长度将与最长的序列长度一致。，取得了较好的结果。

总之,BERT在进行MLM时会同时使用padding mask和MLM mask,但两者的目的和作用是不同的。这种设计使得BERT可以有效地学习语言表示,同时处理不同长度的输入。BERT会将输入截断或填充到固定长度(通常是512),超出部分会被截断,不足部分用[PAD]填充.通过这些机制,BERT能够有效区分真实输入和padding,在训练和推理时正确处理不同长度的序列。在self-attention计算时,attention mask会被用来屏蔽掉padding tokens,使模型只关注真实输入.

欢迎关注我的新博客：http://mmmmmmlei.cn 对于 CBC 翻转字节攻击以及 Padding Oracle Attack 这块的知识一直不怎么会运用，所以今天复现了一道在Xman 夏令营打排位赛的一道密码题，算是 Padding Oracle 的一个简化版，思想大同小异，只是这个题没有和服务器交互。 这个题也是仿 hack.lu 2016 的一道题，文章末尾有链接地址。 看下题，给了...

0x01 题目来源https://github.com/pbiernat/BlackBox/tree/master/Padz0x02 解题过程1、首先还是需要了解CBC加解密模式的基本流程：CBC加密： CBC解密： 整个做题的目标四计算出中间结果，这需要从最后一个字节开始向前逐个字节计算。整个的理论原理参考了下文中的链接，这里不再赘述。2、查看源码 输出唯一的密文，发现当输入有效的时候只会返回