论文精度：Transformers without Normalization

 前言

论文题目：Transformers without Normalization

作者：Jiachen Zhu 1,2 , Xinlei Chen 1 , Kaiming He 3 , Yann LeCun 1,2 , Zhuang Liu 1,4,†

论文地址：https://arxiv.org/pdf/2503.10282

摘要

这篇论文探讨了现代神经网络中广泛使用的归一化层是否是必不可少的。作者提出了一个名为Dynamic Tanh（DyT）的操作，作为归一化层在Transformer中的替代方案。通过将DyT应用于没有归一化的Transformer模型，实验结果表明这些模型可以达到与有归一化的模型相同或更好的性能，并且不需要进行超参数调整。该研究挑战了人们对于归一化层不可或缺的传统认识，并为深度网络中归一化层的作用提供了新的见解。

论文方法

方法描述

该论文提出了一种新的神经网络层——动态tanh（DyT），用于替代传统的归一化层。DyT在每个输入元素上独立地执行前向传递，而无需计算统计信息或其他类型的聚合。与归一化层类似，DyT能够非线性地变换输入，并通过挤压极端值来增强模型的表示能力。

方法改进

DyT的主要改进在于引入了一个可