【论文阅读】基于深度学习的时序预测——Informer

### 深度学习时序预测模型的输入结构设计 深度学习中的时序预测模型通常需要精心设计其输入结构，以便有效地捕捉时间序列数据中的特征和模式。以下是几种常见的时序预测模型及其输入结构的设计方法： #### 1. Informer 的输入结构设计 Informer 是一种专门针对长时间序列预测优化的 Transformer 变体[^1]。它的输入结构主要关注如何高效处理高维时间序列数据并减少计算开销。具体来说： - **输入长度控制**：为了降低内存消耗，Informer 使用了一种称为 Probabilistic Sparse Self-Attention (稀疏概率自注意力) 的机制，允许模型仅关注部分重要的历史时刻而非整个时间窗口。 - **多尺度表示**：通过引入生成对抗网络（GANs），Informer 能够自动提取不同频率下的特征。 #### 2. Autoformer 的输入结构设计 Autoformer 提出了一个新的框架来解决长期时间序列预测问题[^3]。它利用了序列分解技术以及增强版的自相关机制来进行更精确的数据建模： - **序列分解模块**：将原始信号分为趋势项和季节性波动两部分分别处理后再重新组合起来作为最终输出的一部分； - **自回归组件与外部变量支持**：除了常规的历史观测值外还可以加入额外的相关因素比如节假日效应或者气象条件等辅助信息进一步提升准确性； #### 3. DAFDC-RNN 的输入结构设计 DAFDC-RNN 结合了多种先进的神经网络设计理念构建了一个强大的端到端训练架构用于短期至中期范围内的电力负荷预报等问题求解过程中表现出优异性能[^4]: - 它采用了双向循环层堆叠而成的标准RNN形式配合门控单元实现记忆功能的同时还加入了target attention 和 full-dimension convolutional layers 来加强局部细节感知能力; - 时间注意(Temporal Attention Mechanism)则帮助区分不同时刻的重要性从而做出更加合理的决策. ```python import torch.nn as nn class Encoder(nn.Module): def __init__(self, input_size, hidden_size): super(Encoder, self).__init__() self.rnn = nn.LSTM(input_size=input_size, hidden_size=hidden_size) def forward(self, x): output, _ = self.rnn(x) return output class DecoderWithAttention(nn.Module): def __init__(self, ... ): ... def build_dafdc_rnn(): encoder = Encoder(...) decoder_with_attention = DecoderWithAttention(...) model = Seq2SeqModel(encoder, decoder_with_attention) return model ``` 以上代码片段展示了如何创建一个简单的编码器-解码器结构，并且可以扩展为目标注意力(Target Attention) 或者其他特定机制的应用实例之一。 --- ###