0-FAN：傅立叶分析网络(未完)

Abstract

尽管神经网络取得了显著的成功，特别是由MLP（多层感知机）和Transformer代表的网络，我们发现它们在对周期性的建模和推理方面存在潜在缺陷，即它们在训练域内表现出令人满意的性能，但在域外（OOD，Out of Domain）泛化方面却表现挣扎。根本原因在于它们倾向于记忆周期性数据，而不是真正理解周期性的原理。实际上，周期性对于各种推理和泛化形式至关重要，它通过观察中反复出现的模式，支撑着自然和工程系统中的可预测性。在本文中，我们提出了FAN，一种基于傅里叶分析的新型网络架构，它增强了高效建模和推理周期现象的能力，同时保持了通用性。通过引入傅里叶级数，周期性被自然地整合到FAN的结构和计算过程中。基于此，FAN遵循两个核心原则进行定义：1）其周期性建模能力随着网络深度的增加而扩展；2）整个网络中都可用的周期性建模，从而实现对周期模式更有效的表达和预测。FAN可以无缝替换各种模型架构中的MLP，参数更少，浮点运算（FLOPs）更低，成为传统MLP的一个有前途的替代品。通过广泛的实验，我们展示了FAN在周期性建模任务中的优越性，以及FAN在一系列实际任务中的有效性和泛化能力，包括符号公式表示、时间序列预测、语言建模和图像识别。

1 Introduction

现代机器学习和人工智能的繁荣与神经网络基础架构的革命性进步密不可分。例如，多层感知机（MLP）（Rosenblatt