Vision Transformer论文精读

最新推荐文章于 2025-03-21 19:25:34 发布
最新推荐文章于 2025-03-21 19:25:34 发布
阅读量1k 收藏 6
点赞数 4
CC 4.0 BY-SA版权
分类专栏： ai学习笔记 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43605214/article/details/127720035

论文：An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale

目录

摘要 

Vision Transformer模型结构

Embedding层

Position Embedding

class embedding

Transformer Eencoder

layer norm

Multi-Head Attention

 Dropout/DropPath

MLP

归纳偏置

总结

效果

展望

摘要 

很多任务将attention加入原来的CNN中保持，原有框架不变，例如resnet50每一个layer都保留，只在堆叠的block中添加attention，他们表面这种操作是不必要的，直接使用纯的transformer架构用于视觉任务中也能获得一个比较好的结果。

并且只需要相对较少的计算资源，当然他说的‘少’指的是2500天TPUv3，只是对于谷歌其他大模型来说相对少。

Vision Transformer模型结构

Embedding层

transformer的输入token是向量，所以要先将图像通过Embedding转换成一串向量

具体的转换方式很多，在论文的引言中有介绍前人为了降低序列长度使图像能够作为transformer输入所做的工作（分析该方向前人工作做了那些，再说自己的创新是那些，分析清楚更有可能被接受，不用担心前人工作跟你的很相似，引言就提到了许多将transformer往视觉领域融合的论文，然后说他们是尽可能不改变transformer原有结构，不做针对视觉任务的特定改变，实验transformer架构的可扩展性好不好，讲故事的思路+1）

例如直接将图像划分成多个小块(patch)，再展平成向量

也有结合cnn来做的，先将图像送入传统的卷积神经网络，提取出小块的比较深层的特征后再将其展平成向量

本文是直接用的一个16*16的卷积核768个，步长为16进行一次卷积获取的patch，输入特征通过预处理成224，卷积后图像大小变为14*14*768，将高宽展平成196，输出就为196*768，将每个通道的同一位置串起来串成一个维度为通道数的向量，构造出196个向量作为输入，每个向量长768维。

（这里我第一次看理解错了，直观理解的是对每个通道展开成向量，添加注意力求每个通道之间的关联性，做成768个196维的向量。通过不同卷积核的不同权重，每

最低0.47元/天 解锁文章

200万优质内容无限畅学
51-17 视频理解串讲— MViT，Multiscale Vision Transformer 论文精读
AIgraphX
01-27 1982
通过将多尺度、层次性特征的开创性思想与transformer模型联系起来，提出了用于视频和图像识别的多尺度视觉transformer，MViT。它是建立在stage的核心概念之上，每个stage由多个具有特定时空分辨率和通道维度的Transformer block组成，其主要思想是逐步扩展信道容量，同时从输入到输出网络池化时空分辨率。
51-6 Vision Transformer ，ViT 论文精读
AIgraphX
01-09 1832
ViT取代了CNN，打通了CV和NLP之间的鸿沟，而且挖了一个更大的多模态的坑。ViT未来有可能真就是一个简洁、高效、通用的视觉骨干网络，而且可以完全不用任何标注信息。当拥有足够多的数据进行预训练的时候，ViT的表现就会超过CNN，突破transformer缺少归纳偏置的限制，可以在下游任务中获得较好的迁移效果。
Vision Transformer论文精读笔记 AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
985小菜鸡
04-10 602
核心观点：在视觉方面，注意力机制对卷积神经网络 (CNN) 的依赖是不必要的，直接应用于图像 patch 序列的纯 Transformer 可以很好地完成图像分类任务。当对大量数据进行预训练并传输到多个中型或小型图像识别基准(ImageNet, CIFAR-100, VTAB等)时，Vision Transformer (ViT)与最先进的卷积网络相比获得了出色的结果，同时需要更少的计算资源进行训练。
『论文精读』Vision Transformer(VIT)论文解读
热门推荐
AI新视界
06-15 2万+
ViT是2020年Google团队提出的将Transformer应用在图像分类的模型，虽然不是第一篇将transformer应用在视觉任务的论文，但是因为其模型 “简单”且效果好，可扩展性强（scalable，模型越大效果越好），成为了transformer在CV领域应用的里程碑著作，也引爆了后续相关研究。
Vision Transformer(ViT)论文解读与代码实践(Pytorch)
qq_51957239的博客
09-21 1万+
RGB为彩色图片，L为灰度图片= 'RGB':这里解释一下collate_fn这个静态方法：collate_fn方法的作用是定义数据加载时的批处理操作。在PyTorch中，数据加载器（DataLoader）将数据集按照指定的批次大小（batch size）加载到模型中进行训练或推断。当数据集中的样本具有不同的大小或形状时，需要对每个批次进行适当的处理，以便能够对其进行批处理计算。
vision transformer论文解读
11-20 318
1 相关参考： [1] https://blog.csdn.net/longxinchen_ml/article/details/86533005 图解transformer, 这篇博客以生动的图解详细介绍了transformer的基本原理 [2] https://zhuanlan.zhihu.com/p/104393915 【经典精读】Transformer模型深度解读 这篇博客也是介绍transformer的原理， 相比上一篇博文更加深入一点，2篇博文可以对照学习， 能更好的理解 [3] http
【vision transformer】LETR论文解读及代码实战（一）
qq_35831906的博客
04-18 3288
LETR文是DETR在wireframe 数据集任务上的迁移，也是vision transformer在wirefame上的成功尝试，实现了wreframe 检测任务的sota性能，本文针对LETR论文进行解读。
【论文精读】 Vision Transformer（ViT）
weixin_44934783的博客
02-08 1386
Vision Transformer（ViT）
Vision Transformer论文精读（1/2）
teletubbies的博客
10-16 3313
第一段先说，因为Transformer在NLP领域扩展的很好，越大的数据或者越大的模型最后的performance就会一直上升，没有饱和的现象，那自然而然会有一个问题就是如果我们把Transformer用到视觉里来，那是不是视觉的问题也能获得大幅度的提升？
论文阅读——Vision Transformer(ViT)
qq_36919342的博客
04-21 4300
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale1. Motivation2.
【论文阅读】Vision Transformer
想当咸鱼的猫
09-05 6195
在计算机视觉领域中，多数算法都是保持CNN整体结构不变，在CNN中增加attention模块或者使用attention模块替换CNN中的某些部分。有研究者提出，没有必要总是依赖于CNN。因此，作者提出ViT算法，仅仅使用Transformer结构也能够在图像分类任务中表现很好。受到NLP领域中Transformer成功应用的启发，ViT算法中尝试将标准的Transformer结构直接应用于图像，并对整个图像分类流程进行最少的修改。
多模态大模型（二）2025：最详细Vision Transformer论文详解
aminghhhh的博客
03-21 2697
2.1 摘要部分及其翻译虽然 Transformer 架构已成为自然语言处理任务的事实标准，但它在计算机视觉领域的应用仍然相对有限。在视觉任务中，注意力机制通常是与卷积网络结合使用，或者用于替换卷积网络的部分组件，同时保持整体网络结构不变。我们展示了其实并不需要依赖 CNN，而是可以将纯 Transformer 直接应用于图像块（patch）序列，并在图像分类任务上取得非常好的表现。
《Vision Transformers: State of the Art and Research Challenges》论文翻译阅读
hai0915的博客
09-13 566
视觉transformer的最新进展和遇到的挑战
【论文笔记】A Survey of Visual Transformers（完结）
m0_58678659的博客
04-04 4289
Vision Transformer 综述 论文题目：A Survey of Visual Transformers 论文链接：https://arxiv.org/abs/2111.06091 发表时间：2021年11月 Abstract Transformer是一种基于注意...
视觉Transformer开山之作：Vision Transformer(ViT)论文解读与复现
AI训练师中的点滴
12-17 7068
介绍了VIT的结构及其复现
【图像分类】Vision Transformer理论解读+实践测试
兴趣使然的创作者
08-05 1万+
Vision Transformer是2021年谷歌在ICLR上提出的算法，算法原理并不复杂，但是其价值是开创性的。它首次将NLP领域火热的Transformer模型架构移植到了CV领域，打破了这两个领域壁垒，并取得不错的成效。论文名称： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale。...
李沐论文精读系列二：Vision Transformer、MAE、Swin-Transformer
qq_56591814的博客
10-17 1万+
本文是参考李沐bilibil论文精度视频和太阳花的视频/博文后所写
【论文&模型讲解】Vision Transformer
Friedrichor的博客
04-15 4015
文章目录0. 前言1. 背景2. 现状分析3. 任务&结论（简介）4. 整体框架5. 流程6. 模型Embedding层Transformer Encoder层MLP Head7. 部分实验数据集模型变体Position Embedding消融实验相关文献及下载地址 0. 前言 论文名称：An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 论文网址：https://arxiv.org/abs/2010.
【论文精读】VIT：vision transformer论文
weixin_47748259的博客
03-23 2480
多头自注意力中的维度其实并不是768，假设现在使用的是VIsion Transformer的base版本，即多头使用了12个头，那么最后的维度就变成了768/12=64，也就是说这里的k、q、v变成了197×64，但是有12个头，有12个对应的k、q、v做自注意力操作，最后再将12个头的输出直接拼接起来，这样64拼接出来之后又变成了768，所以多头自注意力出来的结果经过拼接还是197×768。图像的位置编码信息是直接加到token上去的，不是拼接，因此不会改变序列的维度，序列还是197x768。
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows论文精读
最新发布
07-09
### Swin Transformer 论文精读：Hierarchical Vision Transformer Using Shifted Windows Swin Transformer 是一种基于视觉的分层 Transformer 模型，其核心创新在于通过 **Shifted Window-based Self-Attention**...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值