问题陈述从图1a中的原始attention可以看出，只有在最开始的几层，不同位置的attention模式有一些区别，但是更高层中的attention权重更加一致。这表示随着模型层数的增加，嵌入的内容变得更加情境化，可能都带有类似的信息。此外，另一篇文章中表示注意力权重不一定与输入token的相对重要性相对应。作者使用输入消融法，blank-out方法来估计每个输入token的重要性。Blank-o

参考：https://zhuanlan.zhihu.com/p/39672858直接使用pip install pytorch==0.3 torchvision命令进行安装安装完torchvision版本为0.3与0.3版本的pytorch不匹配，直接安装低版本的torchvision命令pip install torchvision==0.2...

在分布式模式下，需要在每个 epoch 开始时调用 set_epoch() 方法，然后再创建 DataLoader 迭代器，以使 shuffle操作能够在多个 epoch 中正常工作。 否则，dataloader迭代器产生的数据将始终使用相同的顺序。sampler = DistributedSampler(dataset) if is_distributed else Noneloader = D

问题陈述从图1a中的原始attention可以看出，只有在最开始的几层，不同位置的attention模式有一些区别，但是更高层中的attention权重更加一致。这表示随着模型层数的增加，嵌入的内容变得更加情境化，可能都带有类似的信息。此外，另一篇文章中表示注意力权重不一定与输入token的相对重要性相对应。作者使用输入消融法，blank-out方法来估计每个输入token的重要性。Blank-o

执行代码时出现题述问题执行下面的命令发现没有GLIBCXX_3.4.26对应的版本strings /home/app/anaconda3/lib/libstdc++.so.6 | grep GLIBCXX根据stackoverflow上的操作，在anaconda/lib下发现有GLIBCXX_3.4.26的版本strings /home/app/anaconda3/lib/libstdc++.so

在网上搜到的命令大多都是docker ps -a这个命令显示的是所有容器，包括已经关掉的，相当于显示的是使用的docker容器记录显示的无关信息比较多最后在命令行执行docker，试出了docker image ls命令该命令只会显示已安装的docker，而不是使用docker的记录...

在 linux 上使用locate deviceQuery命令找到使用cuda预实现的sample程序deviceQuery在命令行执行/home/amax/NVIDIA_CUDA-10.0_Samples/bin/x86_64/linux/release/deviceQuery 查看GPU的详细信息参考：https://blog.csdn.net/weixin_40005329/article/

在PyTorch0.4.0之后Variable 已经被PyTroch弃用Variable不再是张量使用autograd的必要条件只需要将张量的requires_grad设为True该tensor就会自动支持autograd运算在新版的PyTorch中Variable(tensor)和Varialbe(tensor, requires_grad)还能继续使用，但是返回的是tensor，而不是Vari