DenseNet (121,169,201)改进：添加Transformer层

于 2025-04-06 13:51:24 发布
阅读量158 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： AI 改进系列 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44886601/article/details/147024691

目录

1. Transformer层

2. DenseNet 加入Transformer结构

3. 完整代码

融入模块后的网络经过测试，可以直接使用！

1. Transformer层

Transformer是2017年由Google在论文《Attention Is All You Need》中提出的一种革命性的神经网络架构，它完全基于注意力机制，摒弃了传统的循环和卷积结构，在自然语言处理等领域取得了巨大成功。

1. Transformer整体架构

Transformer由编码器(Encoder)和解码器(Decoder)两部分组成：

输入 → 编码器 → 解码器 → 输出

编码器结构

  • 由N个(原论文中N=6)相同的编码器层堆叠而成

  • 每个编码器层包含两个子层：

    1. 多头自注意力机制(Multi-Head Self-Attention)

    2. 前馈神经网络(Feed Forwa

了解本专栏 订阅专栏 解锁全文 超级会员免费看
MONAI 基石与医学影像AI生态：代码驱动的深度理解
u012133341的博客
05-26 384
面向高级开发者和研究者的 MONAI 核心架构与设计哲学剖析欢迎来到 MONAI 的深度探索之旅！MONAI (Medical Open Network for AI) 作为一个基于 PyTorch 的开源框架，专为医学影像AI而生。它不仅仅是一个工具库，更是一个旨在加速研究创新、提升可复现性、并促进临床转化的生态系统。本篇博客将深入 MONAI 的核心，通过代码示例，揭示其设计哲学、核心架构的奥秘，探讨其在庞大AI生态中的独特位置，并思考它如何助力高级开发者应对复杂研究项目的挑战。
【图像去噪】论文精读：SUNet: Swin Transformer UNet for Image Denoising
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
11-09 796
论文题目：SUNet: Swin Transformer UNet for Image Denoising —— SUNet:用于图像去噪的Swin Transformer UNetISCAS 2022！Swin U-Net用于图像去噪！图像恢复是一个具有挑战性的问题，也是一个长期存在的问题。在过去的几年里，卷积神经网络 (CNN) 几乎主导了计算机视觉，并在包括图像恢复在内的不同级别的视觉任务上取得了相当大的成功。
常见卷积神经网络总结：Densenet
Tianlock的博客
03-29 1791
常见卷积神经网络总结DenseNet 最近时间没那么紧张了，准备把之前没看的论文总结一下， DenseNet DenseNet是CVPR2017的最佳论文，可见这篇论文还是很厉害的，DenseNet主要是借鉴了Resnet的思想，采取了一种全新的网络连接方式，最近的卷积神经网络主要是从深度和宽度上进行思考的，加深宽度或者加深深度，但这篇文章另辟蹊径，采取了一种新的结构，取得了很好地效果。 首先来看...
densenet169_weights_tf.h5
12-15
densenet169_weights_tf.h5 top1准确率达到77% top5 93%
轻量化神经网络CondenseNet--对DenseNet的进一步改进
panghuzhenbang的博客
05-09 4267
原文地址： 《CondenseNet: An Efficient DenseNet using Learned Group Convolutions》 亮点： 提出了可学习的分组卷积（Learned Group Convolutions）：利用网络压缩技术中的稀疏网络原理，在训练期间根据卷积核的L1值对卷积核进行置零操作； 剪枝：训练一开始就直接对权重做剪枝，而不是对训练好后的模型做剪枝操作，不仅能准确地剪枝，还能继续训练，使网络权重更平滑； 全稠密连接：DenseNet的稠密连接只在相应的blo
关于densenet的改进：condensenet、VoVNet
qq_44942936的博客
10-18 936
1、condensenet 提出可学习分组卷积，使网络更加轻量化 2、VoVNet 实时目标检测 论文：An Energy and GPU-Computation Efficient Backbone Network for Real-Time Object Detection 一篇不错的介绍
关于Densenet的改进方法
Loong Cheng的博客
03-17 6126
改进 Densenet是一个非常棒的网络结构，但是特别耗费显卡。 然后作者给出了解决方法 黄高博士及刘壮取得联系两位作者对 DenseNet 的详细介绍及常见疑问解答 DenseNet 特别耗费显存？ 不少人跟我们反映过 DenseNet 在训练时对内存消耗非常厉害。这个问题其实是算法实现不优带来的。当前的深度学习框架对 DenseNet 的密集连接没有很好的支持，我们只能借助于...
轻量级神经网络PeleeNet--对DenseNet的进一步改进
panghuzhenbang的博客
05-12 2835
论文地址： 《Pelee: A Real-Time Object Detection System on Mobile Devices》 文章总体上参考DenseNet的设计思路，提出了三个核心模块进行改进，有一定参考价值。 PeleeNet实际上是DenseNet的变体，使用的依然是DenseNet的连接方法，核心的设计原则也和DenseNet相仿(特征重用)。 1. Two-Way Dense Layer： 如下图所示：左边(a)图是DenseNet中设计的基本模块，其中k、4k代表filte
YoloV8改进策略：BackBone改进|Swin Transformer赋能YoloV8，性能跃升的新篇章
m0_47867638的博客
09-16 2585
计算机视觉建模长期以来一直由卷积神经网络 (CNN) 主导。从 AlexNet [38] 及其在 ImageNet 图像分类挑战中的革命性表现开始，CNN 架构通过更大的规模 [29, 73]、更广泛的连接 [33] 和更复杂的卷积形式 [67, 17, 81]。随着 CNN 作为各种视觉任务的骨干网络，这些架构的进步导致了性能改进，从而广泛提升了整个领域。另一方面，自然语言处理 (NLP) 中网络架构的演变采取了不同的路径，如今流行的架构是 Transformer [61]。
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
读书郎
09-02 1657
本文提出了一种新的视觉转换器Swin Transformer，它可以作为计算机视觉的通用主干。将 Transformer 从语言适应视觉的挑战源于两个域之间的差异，例如视觉实体的规模变化很大，以及与文本中的单词相比，图像中像素的高分辨率。为了解决这些差异，我们提出了一个分层 Transformer，其表示是使用 Shifted 窗口计算的。移位窗口方案通过将自注意力计算限制在不重叠的局部窗口上，同时允许跨窗口连接，从而带来了更高的效率。
RT-DETR改进策略：BackBone改进|Swin Transformer，最强主干改进RT-DETR
m0_47867638的博客
09-16 2402
计算机视觉建模长期以来一直由卷积神经网络 (CNN) 主导。从 AlexNet [38] 及其在 ImageNet 图像分类挑战中的革命性表现开始，CNN 架构通过更大的规模 [29, 73]、更广泛的连接 [33] 和更复杂的卷积形式 [67, 17, 81]。随着 CNN 作为各种视觉任务的骨干网络，这些架构的进步导致了性能改进，从而广泛提升了整个领域。另一方面，自然语言处理 (NLP) 中网络架构的演变采取了不同的路径，如今流行的架构是 Transformer [61]。
densenet169_weights_tf_dim_ordering_tf_kernels_notop.h5
07-17
densenet169_weights_tf_dim_ordering_tf_kernels_notop.h5 模型，亲测有用
DenseNet-BC-169-32.zip&&DenseNet;-BC-169-32-no-top.zip
05-11
预训练好的网络权重。需要的可以下载奥。希望了对大家有用。
keras_densenet169_finetune.py例子
01-28
官方例子，深度学习专用，机器学习专用，代码简单，一看就会(keras densenet169 finetune)
DenseNet分类网络改进（添加SPP）--亲测有效
weixin_42367888的博客
12-05 1084
DenseNet分类网络改进--亲测有效
YOLOV8主干改进方法：DenseNet——最新提出DenseOne密集网络，打造高性能检测器（附改进代码）
m0_74890428的博客
04-09 1236
由于密集连接方式，DenseNet提升了梯度的反向传播，使得网络更容易训练。由于每层可以直达最后的误差信号，实现了隐式的“deep supervision”； 参数更小且计算更高效，这有点违反直觉，由于DenseNet是通过concat特征来实现短路连接，实现了特征重用，并且采用较小的growth rate，每个层所独有的特征图是比较小的；
9.23 DENSE改进
qq_35398413的博客
09-23 347
import keras from keras.models import Sequential from keras.layers import Dense, Dropout, Activation, Bidirectional, LSTM from keras.optimizers import SGD, Adagrad from keras.callbacks import TensorBo...
【论文】DenseNet
Aries_young的博客
09-02 732
【论文】Huang G , Liu Z , Laurens V D M , et al. Densely Connected Convolutional Networks[J]. 2016.（pdf） 【新颖点】 DenseNet 优点 缓解了梯度消失的问题，加强了特征传播，鼓励特征重用，大大减少了参数的数量 DenseNet 概述 DenseNet 为了保证网络层之间的最大信息流，将所有层直接彼此连接起来。为了保证前馈特性，每个层从前面的所有层获得额外的输入，并将自己的特征映射传递给后面的所有层 因为.
DenseNet论文总结
zz937211040的博客
10-15 500
论文: Densely Connected Convolutional Networks 一、 内容简述 　　作者通过研究Stochastic depth训练方法和ResNet后受到启发，设计了一种名为DenseNet的模型，能够有效地抑制梯度消失，强化特征传播同时大幅地减少参数数量。在实验中DenseNet在CIFAR、SVHN和ImageNet数据集中取得了了当...
可以在transformer上引入残差连接吗？
最新发布
06-19
###三、残差连接的高级应用技巧1.**跨阶段残差（Cross-StageResidual）**：-在深层Transformer中，除每层的残差外，可添加跨层连接：$$y_{l+2}=y_l+F(y_{l+1})$$此结构类似ResNet，缓解梯度逐层衰减问题[^1]。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

听风吹等浪起

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值