基于热交换算法优化门控循环单元网络GRU的风电场发电功率预测

基于热交换算法优化门控循环单元网络GRU的风电场发电功率预测

1.GRU原理

RNN适合分析处理时间序列数据，因为RNN在网络中引入了循环单元结构，并允许隐藏单元之间的内部连接，使探索非连续数据之间的时间关系成为可能。但RNN存在梯度消失的问题，导致随着时间间隔不断增大，RNN会丧失学习过去较久远信息的能力。

LSTM神经网络的提出解决了RNN梯度消失的问题，已被广泛应用于预测时间序列数据领域中，近年来根据不同的需求也演变出许多变体。GRU作为LSTM的一种变体，采用门控循环神经网络结构，相比LSTM训练参数较少，又同时保持了LSTM的预测效果。GRU内部单元与LSTM的内部单元很相似，不同之处为GRU将LSTM中的输入门和遗忘门合成一个单一的更新门。因此，GRU中只有两个门结构，分别为更新门和重置门。更新门用于控制前一时刻的状态信息保留到当前状态中的程度，更新门的值越大表示前一时刻的状态信息保留越多。重置门用于确定是否要结合当前状态与先前的信息，重置门的值越小说明忽略的信息越多。

如前所述，假设${\mathbf{x}}_t$为输入，${\mathbf{h}}_t$为隐藏层的输出，GRU单元通过以下公式计算得到${\mathbf{h}}_t$：

$$\begin{array}{c}{\mathbf{z}}_t=\sigma \left({\mathbf{W}}^{(z)}{\mathbf{x}}_t+{\mathbf{U}}^{(z)}{\mathbf{h}}_{t-1}\right)\\ {\mathbf{r}}_t=\sigma \left({\mathbf{W}}^{(r)}{\mathbf{x}}_t+{\mathbf{U}}^{(r)}{\mathbf{h}}_{t-1}\right)\\ {\tilde{\mathbf{h}}}_t=\tanh \left({\mathbf{r}}_t\circ \mathbf{U}{\mathbf{h}}_{t-1}+\mathbf{W}{\mathbf{x}}_t\right)\\ {\mathbf{h}}_t=\left(1-{\mathbf{z}}_t\right)\circ {\tilde{\mathbf{h}}}_t+{\mathbf{z}}_t\circ {\mathbf{h}}_{t-1})\end{array}$$

式中：${\mathbf{z}}_t$和${\mathbf{r}}_t$分别为更新门和重置门；${\tilde{\mathbf{h}}}_t$为输入${\mathbf{x}}_t$和上一隐藏层输出结果${\mathbf{h}}_{t-1}$的汇总；$\sigma$为Sigmoid函数；$\tanh$为双曲正切函数；${\mathbf{U}}^{(z)},{\mathbf{W}}^{(z)},{\mathbf{U}}^{(r)},{\mathbf{W}}^{(r)},\mathbf{U}$，$\mathbf{W}$为训练参数矩阵；${\mathbf{z}}_t\cdot {\mathbf{h}}_{t-1}$表示${\mathbf{z}}_t$和${\mathbf{h}}_{t-1}$的复合关系。

2.风电功率预测

2.1数据集

数据集为2019年风电功率数据，数据集如下：

数据特征除时间意外，一共包含14维特征

我们利用Windowsize=5天的数据预测下一天的数据，于是5天的数据一共包含14*5=70维度，预测输出1维数据，即实际发电功率（mw）。实际应用中，Windowsize的大小可根据实际情况进行修改。

3.基于热交换算法优化的GRU

热交换算法原理请参考：https://blog.csdn.net/u011835903/article/details/114221597
由前文可知，GRU的参数设置具有满目性。本文利用热交换算法对LSTM的参数（学习率，GRU神经元个数，正则化参数）进行优化。适应度函数设计为训练集的MAPE平均百分比误差：
$$fitness=argmin(MAPEpridect)$$

适应度函数选取训练后的MAPE误差。MAPE误差越小表明预测的数据与原始数据重合度越高。最终优化的输出为最佳学习率，GRU神经元个数，正则化参数。然后利用最佳学习率，GRU神经元个数，正则化参数训练后的网络对测试数据集进行测试。

4.实验结果

5.Matlab代码