【AI】VIT Transformer论文学习笔记

最新推荐文章于 2025-03-13 15:45:44 发布
原创 最新推荐文章于 2025-03-13 15:45:44 发布 · 1.5k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #transformer #学习

论文：Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16x16 words: Transformers for image recognition at scale[J]. arXiv preprint arXiv:2010.11929, 2020

在这里插入图片描述

1.文章背景

计算机视觉当前最热门的两大基础模型就是Transformer和CNN了。

  • Transformer的应用

Transformer提出后在NLP领域中取得了极好的效果，其全Attention的结构，不仅增强了特征提取能力，还保持了并行计算的特点，可以又快又好的完成NLP领域内几乎所有任务，极大地推动自然语言处理的发展。
但在其在计算机视觉领域的应用还非常有限。在此之前只有目标检测(Object detection)中的DETR大规模使用了Transformer，其他领域很少，而纯Transformer结构的网络则是没有。
VIT这篇文章就是将Transformer模型应用在了CV领域，它将图像处理成Transformer模型可以应用的形式，沿用NLP领域中Transformer的方法，直接验证了其精度可以和ResNet不相上下，展示了在计算机视觉中使用纯Transformer结构的可能，为Transformer在CV领域的应用打开了大门。

  • Transformer的优势

1.并行计算
例如RNN，它每一层的参数都依赖前一个参数的计算结果，较难进行并行计算。而例如CNN，它每一层的计算的输入都是上一次的结果直接获取来的，可以进行并行计算，Transformer模型也具有这种能力。

最低0.47元/天 解锁文章
AI柱子哥
关注
读论文——ViT（Transformer跨界CV）
y1040468929的博客
12-03 964
1202年，还不知道ViT?
ViT：视觉Transformer backbone网络ViT论文与代码详解
热门推荐
weixin_37737254的博客
06-06 4万+
VisualTransformerAuthor：louwillMachine Learning Lab 今天开始Visual Transformer系列的第一篇文章，主题是Visi...
Vision Transformer(ViT)论文解读与代码实践(Pytorch)
qq_51957239的博客
09-21 2万+
RGB为彩色图片，L为灰度图片= 'RGB':这里解释一下collate_fn这个静态方法：collate_fn方法的作用是定义数据加载时的批处理操作。在PyTorch中，数据加载器（DataLoader）将数据集按照指定的批次大小（batch size）加载到模型中进行训练或推断。当数据集中的样本具有不同的大小或形状时，需要对每个批次进行适当的处理，以便能够对其进行批处理计算。
Vision Transformer（VIT）论文解读及实现
weixin_42529756的博客
07-08 3967
VIT,图片分类
ICLR2021 | ViT论文精读:用transformer 去做大规模的图像识别
最新发布
m0_63855028的博客
03-13 1615
虽然 Transformer 架构已成为自然语言处理任务的事实（de-facto)标准，但它在计算机视觉方面的应用仍然有限。在视觉领域，注意力要么与卷积网络结合使用，要么用来取代卷积网络的某些组件，同时保持其整体结构不变。我们的研究表明，这种对卷积网络的依赖并非必要，直接应用于图像块序列的纯Transformer 可以在图像分类任务中表现出色。
Dectetion Transformer DETR模型论文学习笔记
ZineSulphur的博客
07-22 1250
DETR全程为Detection Transformer，如其名是一个在目标检测上运用transformer的模型。论文所做的工作，就是将transformers运用到了object detection领域，取代了现在的模型需要手工设计的工作，并且取得了不错的结果。主要是取消NMS等后处理，和锚框等先验知识的手工过程。
【CV Transformer 论文笔记】PS-ViT: Vision Transformer with Progressive Sampling
bikahuli的博客
12-20 3432
论文地址：https://openaccess.thecvf.com/content/ICCV2021/papers/Yue_Vision_Transformer_With_Progressive_Sampling_ICCV_2021_paper.pdf 项目地址：https://github.com/yuexy/PS-ViT ViT直接将纯Transformer架构应用于图像分类，通过简单地将图像分成固定长度的Tokens，并使用Transformer来学习这些tokens之间的关系。然而，这种朴素..
Vision Transformer学习笔记
nuojiacoming的博客
07-29 943
尽管Transformer架构已经成为自然语言处理任务的标准，其在计算机视觉领域的应用仍然受限。在视觉领域，注意力不仅被应用在卷积网络的联接，同时也在保证总体结构情况下替换某些卷积网络的主要组成部分。我们展示了这种对于CNNs的依赖不是必要的，并且一个完全纯净的transformer可以直接被应用在一系列的图像补丁上并在图像分类任务上表现良好。当在大量数据上进行预训练或者转化为大量中型或小型图像时，Vision Transformer 相较于卷积网络表现出优秀结果，同时在训练时需要较少的计算量。
Vision Transformer (ViT) —— 多模态学习笔记（一）
qq_46101866的博客
10-25 2158
本文详细介绍Vision Transformer，ViT模型的基本原理和技术细节。
ViT【Vision Transformer】论文逐段精读【论文精读】
记录学习的小白
04-26 1320
视频地址：ViT论文逐段精读【论文精读】_哔哩哔哩_bilibili ViT：过去一年，CV 最有影响力的工作 推翻了 2012 Alexnet 提出的 CNN 在 CV 的统治地位 有足够多的预训练数据，NLP 的 Transformer 搬运到 CV，效果很好 打破 CV 和 NLP 的壁垒，给 CV、多模态 挖坑 ViT效果有多好？ CV 任务刷榜 paperwithcode网站 霸榜 ImageNet （基于 ViT）和 COCO ,目标检测（Swin Transformer...
ViT(Version Transformer)原始论文解读
qq_45041871的博客
01-10 5943
ViT(Version Transformer)原始论文解读，该文档标志着图像已经进入transformer预训练时代
从ViT到Swin，10篇顶会论文看Transformer在CV领域的发展历程
fareise的博客
03-05 3065
本文梳理了近期10篇Transformer、Attention机制在计算机视觉领域的应用，从ViT到Swin Transformer，完整了解CV Transformer的发展过程。
Vision Transformer(vit)原理分析以及特征可视化
z240626191s的博客
08-29 3万+
Vision Transformer（ViT）是一种基于架构的深度学习模型，用于图像识别和计算机视觉任务。与传统的卷积神经网络（CNN）不同，ViT直接，并利用自注意力机制来处理图像中的像素关系。ViT通过将图像分成一系列的，并。然后，这些向量将通过多层的Transformer编码器进行处理，其中包含了。这样可以。最后，通过对Transformer编码器输出进行分类或回归，可以完成特定的视觉任务。为什么不能直接将transformer直接应用于图像处理中呢？
VIT中提取图像分类特征的详细步骤
weixin_42089699的博客
03-04 1万+
图1. VIT结构图 VIT是第一篇纯视觉transformer,被当成了许多网络的backbone。现在自己梳理一下VIT怎么从一张图像中提取特征，最后用于分类的过程。（自己的理解，如有不对，欢迎指正） 处理流程： 第一步：输入一张尺寸为h*w*c的图像； 第二步：将图像分成p*p*c的小块，那么一共可以获得n个图像块【n=（h*w）/(p*p)】，同时添加一个可学习的类别块，则总共有（n+1）个块待处理，这个类别块将用于与所有的图像小块进行交互，最终从类别块中学习到用于分类的特征； 第三步..
【论文精读】VIT：vision transformer论文
weixin_47748259的博客
03-23 2883
多头自注意力中的维度其实并不是768，假设现在使用的是VIsion Transformer的base版本，即多头使用了12个头，那么最后的维度就变成了768/12=64，也就是说这里的k、q、v变成了197×64，但是有12个头，有12个对应的k、q、v做自注意力操作，最后再将12个头的输出直接拼接起来，这样64拼接出来之后又变成了768，所以多头自注意力出来的结果经过拼接还是197×768。图像的位置编码信息是直接加到token上去的，不是拼接，因此不会改变序列的维度，序列还是197x768。
视觉Transformer经典论文——ViT、DeiT的与原理解读与实现
CV小菜鸟的博客
03-27 3399
基础模块构建好后，就可以构建完整的ViT网络了。ViT的完整结构如图10所示。图10：ViT网络结构可以看到，假设我们将原始图像切分成3×33 \times 33×3共9个小图像块，最终的输入序列长度却是10，也就是说我们这里人为的增加了一个向量进行输入，我们通常将人为增加的这个向量称为 Class Token。那么这个 Class Token 有什么作用呢？我们可以想象，如果没有这个向量，也就是将N9N=9N9。
Vision Transformer 论文 + 详解（ ViT ）
like_jmo的博客
08-01 1万+
Vision Transformer 论文 + 详解
论文：ViT（Transformer 图像分类）
cztAI的博客
06-23 1万+
论文：https://arxiv.org/abs/2010.11929 pytorch代码：https://github.com/lucidrains/vit-pytorch 1. 前言 在计算机视觉中，卷积结构仍然占主导地位。 受NLP中Transformer扩展成功的启发，我们尝试将标准Transformer直接应用于图像，并进行最少的修改。为此，我们将图像拆分为小块，并提供这些小块的线性嵌入序列作为Transformer的输入。图像图块与NLP应用程序中的token（words）的处理方式相同，以监督
目标检测算法-transformer系列-ViT（Vision Transformer）（附论文和源码）
09-29 7973
目标检测算法-transformer系列-ViT（Vision Transformer）（附论文和源码）
基于Transformer的深度学习人工智能项目实践笔记
Transformer模型作为深度学习与人工智能领域最具革命性的架构之一，自2017年Vaswani等人在论文《Attention Is All You Need》中首次提出以来，彻底改变了自然语言处理（NLP）的技术范式，也深刻影响了计算机视觉、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值