交叉注意力融合时空特征的TCN-Transfromer并行预测模型（创新点未发表）

本文基于前期介绍的电力变压器（文末附数据集），介绍一种基于交叉注意力融合时空特征的BiTCN-BiGRU并行预测模型，以提高时间序列数据的预测性能。

这里以PHM2012轴承特征数据集为例，采样频率为25.6kHz，采样持续时间是0.1s，采样点数是2560。后续还可以将上述的原始特征集数据作为深度自编网络的输入，进行无监督学习，提取深度特征数据。有需要了解的可以v我csdnfz007。

有些网络结构，在子类 layer 中并没有定义，这时就需要我们自己来进行编写，为了更灵活的构建自己想要的神经网络层，我们可以自己来创建网络结构类，当然，构建之前先看一眼官方 API 文档，省得白费功夫那是最好。 tensorflow2 官方 API 文档 注意：__init__() ，__build__() ，__call__() 均继承自tf.keras.layers.Layer 一、 初始化属性、初始化输入、向前运算 不多说，先挂个最简单的官方例子 class MyDenseLaye...

强势改进！TCN-Transformer时间序列预测

近年来，随着大数据时代的到来以及对复杂系统理解需求的日益增长，多变量时间序列预测问题受到了广泛关注。传统的时间序列预测方法，例如ARIMA模型和指数平滑法，在处理非线性、高维和长序列数据时往往力不从心。而深度学习方法，特别是卷积神经网络(CNN)和Transformer，因其强大的特征提取能力和并行计算能力，为解决这一难题提供了新的途径。

时间序列预测是许多科学和工程领域的关键问题，其应用范围涵盖经济预测、气象预报、能源管理等。近年来，深度学习技术，特别是卷积神经网络 (CNN) 和 Transformer，在时间序列预测领域取得了显著进展。本文将介绍一种基于 Matlab 的 CNN-Transformer 模型，用于时间序列预测，并将其应用于实际问题中。该模型充分利用了 CNN 的局部特征提取能力和 Transformer 的全局依赖关系建模能力，在多个时间序列数据集上取得了优异的预测效果，达到了中科院1区期刊发表水平。1. 概述。

在标准卷积的基础上注入空洞，以此来增加感受野（reception field）。因此增加一个超参：膨胀率，指kernel的间隔数量。传统的CNN无法直接处理sequence模型这种序列问题，所以使用因果卷积，其作用就是解决序列问题。wavenet是一种全卷积的模型，包含了多个多层如下dilated的结构，随着dilated conv深度增加，来指数性地增大感受野，捕获序列之间较长的时间关系。 如图，隐层中每一层的节点都会把该原来的值和通过激活函数的值相加后传递给

文章目录前言第一课 论文导读序列建模序列建模的发展历史序列建模技术总览序列建模与循环神经网络（RNN）序列建模与循环神经网络（LSTM）序列建模与循环神经网络（Seq2Seq）序列建模与卷积神经网络(CNN)序列建模与卷积神经网络(FairSEQ)序列建模与注意力机制序列建模与注意力机制（transformer）前期知识储备第二课 论文精读论文结构传统算法模型RNN加速方案层叠卷积结构Hierar...

时序预测 | Pytorch实现TCN-Transformer的时间序列预测

时序预测 | KAN+Transformer时间序列预测（Python）

为深度学习模型命名是一门重要的艺术，尤其是在论文和比赛中。一个好的模型名称不仅应该简洁易懂，还应传达模型的核心概念、特点或创新。

作者 | 张俊林，中国中文信息学会理事，目前在新浪微博 AI Lab 担任资深算法专家。在此之前，张俊林曾经在阿里巴巴任资深技术专家，以及在百度和用友担任技术经理及技术总...

点击上方“AI遇见机器学习”，选择“星标”公众号原创干货，第一时间送达转自：知乎，张俊林作者 | 张俊林，中国中文信息学会理事，目前在新浪微博 AI Lab 担任资深算法专家。在此之前，...