Transformers without Normalization

最新推荐文章于 2025-08-22 20:23:00 发布
最新推荐文章于 2025-08-22 20:23:00 发布
阅读量689 收藏
点赞数 17
CC 4.0 BY-SA版权
分类专栏： 高质量人类CV论文翻译 文章标签： 人工智能 图论 深度学习
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/146414048

https://arxiv.org/pdf/2503.10622

在这里插入图片描述

摘要

归一化层在现代神经网络中无处不在，并且长期以来一直被认为是必不可少的。本研究表明，不使用归一化的Transformer可以通过一种非常简单的技术达到相同或更好的性能。我们引入了动态双曲正切（Dynamic Tanh，简称DyT），这是一种逐元素运算DyT⁡(x)=tanh⁡(αx)\operatorname{DyT}(\boldsymbol{x})=\tanh (\alpha \boldsymbol{x})DyT(x)

了解本专栏 订阅专栏 解锁全文
超火的去归一化模型Transformers without Normalization详解及代码复现
hasakie的博客
03-18 532
在深度学习领域，Transformer架构的创新一直是研究热点。本文介绍的模型是一种基于Transformer架构的创新变体，
【论文阅读】Transformers without Normalization：从根本上改变我们对归一化的认识
熵数实验室
05-24 1769
在过去十年间，归一化层几乎成为了现代神经网络中不可或缺的组成部分。自2015年批量归一化（Batch Normalization）被提出以来，各种归一化技术如层归一化（Layer Normalization）、实例归一化（Instance Normalization）等迅速发展，并被广泛应用于各类模型架构中。特别是在Transformer架构中，层归一化已经成为标配。
Transformers without Normalization解读
寸先生的AI道路
03-17 980
2025年3月13日，由何凯明和Yann LeCun领衔的论文Transformers without Normalization挂载Arxiv上，大佬论文必须读一下。本文就该论文进行一个简单总结。
文献总结：Transformers without Normalization
m0_47211450的博客
03-22 1217
今天给大家分享一篇来自Meta FAIR实验室的作品DyT，作者中包含了何恺明(Kaiming He)和杨立坤(Yann Lecun)两位深度学习领域大佬！
【CVPR2025】Transformers without Normalization
qq_40734883的博客
03-16 1336
本研究表明，没有归一化的transformer（transformer）可以通过一种简单的技术实现相同或更好的性能。作者引入 动态双曲正切（Dynamic Tanh，DyT） ，一个逐元素操作 $DyT(x) = tanh(\alpha x)$，作 为transformer中归一化层的直接替代。 DyT的灵感来自于观察到 transform（transformer）中的层归一化通常生成类似tanh的 S 形输入输出映射。
论文精度：Transformers without Normalization
hasakie的博客
03-18 654
论文题目：Transformers without Normalization作者：Jiachen Zhu 1,2 , Xinlei Chen 1 , Kaiming He 3 , Yann LeCun 1,2 , Zhuang Liu 1,4,†这篇论文探讨了现代神经网络中广泛使用的归一化层是否是必不可少的。作者提出了一个名为Dynamic Tanh（DyT）的操作，作为归一化层在Transformer中的替代方案。
Transformers without Normalization——无需归一化的Transformer
Together_CZ的博客
03-26 1110
Transformers without Normalization——无需归一化的Transformer
论文笔记（八十二）Transformers without Normalization
xzs1210652636的博客
04-30 1424
归一化层在现代神经网络中无处不在，并且长期以来被认为是必不可少的。本工作表明，通过一种非常简单的技术，不使用归一化的Transformer也能达到相同或更好的性能。我们提出了动态Tanh (Dynamic Tanh——DyT)，一种逐元素操作$\text{DyT}(x)=\tanh(\alpha x)$，可作为Transformer中归一化层的直接替代。$\text{DyT}$的灵感来源于观察到Transformer中的层归一化通常会产生类似tanh的“S型”输入输出映射。通过引入$\text{DyT}$，
Transformers without Normalization paper笔记
蓝羽飞鸟的博客
03-31 759
DyT替代layer norm笔记
[论文阅读]Transformers without Normalization
qq_41776136的博客
04-12 1137
在过去的十年里，归一化层已经巩固了它们作为现代神经网络最基本组成部分之一的地位。所有这些都可以追溯到2015年批归一化的发明（Ioffe和Szegedy，2015），这使得视觉识别模型的收敛速度更快、更好，并在随后几年迅速取得发展。从那以后，针对不同的网络架构或领域提出了许多归一化层的变体。今天，几乎所有的现代网络都使用规范化层，层归一化（layer Norm，或LN） （Ba et al., 2016）是最流行的一种，特别是在占主导地位的Transformer架构中。
深度学习论文: Transformers without Normalization
mingo_敏
03-25 732
归一化层在现代神经网络中广泛应用且长期被视为不可或缺的组件。本研究突破性地证明，通过一种极为简洁的技术，无需归一化层的 Transformer 模型即可达到甚至超越传统架构的性能。本文提出动态双曲正切模块 DyT（Dynamic Tanh），其逐元素操作定义为 DyT (x) = tanh (αx)，可直接替代 Transformer 中的归一化层。这一设计源于对 Transformer 中 LayerNorm 层普遍呈现类 tanh 型 S 曲线输入输出映射的观察。
Bot 流量“假阳性”调优笔记
@云安全小杜
08-19 1289
这次实验最大的收获是：与其在规则里“猜”爬虫长什么样，不如把判断逻辑外置到一个能持续学习的边缘节点。群联的清洗中心提供了实时封禁 API，让我们可以把模型结果直接落地，而不用改一行业务代码——这比传统“先打日志、再人工加黑名单”的节奏快了整整一个量级。
门控循环单元（GRU, Gated Recurrent Unit）
2501_91641025的博客
08-20 938
门控循环单元（GRU, Gated Recurrent Unit）是循环神经网络（RNN）的一种改进结构，由 Cho 等人在 2014 年提出。它和 LSTM 一样，旨在解决RNN 的梯度消失和梯度爆炸问题，同时能够建模长距离依赖信息。与 LSTM 相比，GRU 结构更简洁，参数更少，计算效率更高。GRU 是 LSTM 的简化版，在很多任务上能取得相似甚至更好的效果。优点：计算效率高、参数量少、适合大规模训练。缺点：缺少独立记忆单元，在极长序列任务中可能稍逊于 LSTM。在实际应用中，
Huggingface-Qwen2源码解读
Jeremy程序员
08-19 1754
本文记录了基于HuggingFace Transformers最新master分支对Qwen2模型的学习过程。主要内容包括：1) 开发环境搭建（Python 3.11、PyTorch CPU版）；2) 模型测试代码实现，通过调参创建轻量级配置；3) 核心架构分析，包括分词编码、DecoderLayer处理流程（RMSNorm归一化、自注意力机制、前馈网络）和分组查询注意力机制；4) Qwen2的三大优化点：RMSNorm计算优化、RoPE位置编码和GQA注意力机制；5) 开发中遇到的版本依赖问题及解决方法。
【无标题】
As3310010的博客
08-20 706
从基础功能到自主决策：Agent 开发进阶之路
【笔记】动手学Ollama 第七章 搭建本地RAG
ReedFoley的博客
08-22 660
正文详见：7.3 使用 LangChain 搭建本地 RAG 应用。
数据库审计是什么？主要功能详解与厂商解析
yuandiansec的博客
08-21 938
数据库审计
Paddle3D-PETRv1 精度测试与推理实践指南
Hi20240217的博客
08-22 920
本文介绍了在Paddle3D中使用PETRv1模型进行3D物体检测的完整流程。首先通过Docker配置标准测试环境，安装Paddle3D并下载预训练权重。然后准备NuScenes迷你数据集，生成所需的注解文件。接着对原始模型进行精度测试，获取mAP、NDS等关键指标。最后将训练好的模型导出为推理格式，便于后续部署。文章详细说明了每个步骤的操作命令和参数含义，特别对精度测试结果中的各项指标进行了专业解读，帮助读者理解模型性能评估标准。整个流程涵盖了从环境搭建到最终模型导出的全链路操作，为3D目标检测任务提供了
快速了解深度学习
最新发布
wzdzgdf的博客
08-22 435
在人工智能的浪潮中，“深度学习” 无疑是最热门的词汇之一。从手机里的人脸识别到语音助手，从自动驾驶汽车到医疗影像诊断，深度学习技术正悄然改变着我们的生活。
这6个复现从易到难排序：“TPAMI25_Scaling Spike-driven Transformer with Efficient Spike Firing Approximation Training” “2304.SpectFormer_Frequency and Attention is what you need in a ViT__Fourier_Backbone_” “CVPR25.Transformers without Normalization” “ICLR2024_Spike-driven Transformer V2” “NIPS2023_Spike-Driven-Transformer” “NIPS2024 Oral_MetaLA_Unified Optimal Linear Approximation to Softmax Attention Map”
03-19
"CVPR25_Transformers_without_Normalization", "NIPS2023_Spike_Driven_Transformer", "ICLR2024_Spike_driven_Transformer_V2", "TPAMI25_Scaling_Spike_driven_Transformer_with_Efficient_Spike_Firing_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI浩

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值