本篇论文来自KDD2025第二轮,最新前沿时序技术,提出了StochDiff模型,这个模型首次将扩散过程融入时间序列建模阶段,有效解决了高随机性时间序列的预测难题。
了解顶会最新技术,紧跟科研潮流,研究与写作才能保持在时代一线,全部73篇KDD2025(1+2轮)前沿时序合集小时已经整理好了,在功🀄浩“时序大模型”发送“资料”扫码回复“KDD2025时序合集”即可自取~其他顶会时序合集也可以回复相关顶会名称自取哈~(AAAI25,ICLR25,ICML25等)
文章信息
论文名称:Stochastic Diffusion: A Diffusion Based Model for Stochastic Time Series Forecasting
论文作者: Yuansan Liu、Sudanthi Wijewickrema、Dongting Hu、Christofer Bester、Stephen O’Leary、James Bailey
研究背景
近年来,扩散概率模型在建模和生成各类数据(如图像、文本、音频)方面取得了显著成功,为生成式时间序列预测提供了新思路。然而,现有基于扩散的时间序列预测方法存在以下局限:
-
依赖序列模型(如 RNN、Transformer)和单峰潜变量捕捉全局依赖关系,难以处理高随机性时间序列数据。
-
扩散模块通常在时间序列建模后 “事后应用”,与时序建模过程整合度低。
-
单峰潜变量分布难以编码真实世界时间序列的复杂动态和不确定性,尤其在临床数据等异质性数据中表现不佳。
由此提出新模型StochDiff,以解决上述问题。
模型框架
Stochastic Diffusion(StochDiff)模型能通过在序列框架的每个时间步应用扩散模块,实现对时序依赖和随机性的分步学习。有5个核心设计:
分步扩散整合:在序列模型的每个时间步嵌入扩散模块,而非事后应用,使潜变量能编码每个时间步的特定分布。
数据驱动先验学习:通过先验编码器从历史隐藏状态中学习潜变量的均值和方差,形成动态先验分布。
条件生成扩散:反向扩散过程以潜变量为条件,通过交叉注意力机制融合时序动态和不确定性。
双目标优化:结合 KL 散度(优化先验与后验的匹配)和数据重建损失(优化扩散过程)。
改进的点预测方案:在推理阶段用高斯混合模型拟合采样结果,选择最大聚类中心作为最终点预测。
实验结果
数据集:6 个真实世界数据集,包括 4 个同质时序数据(Exchange、Weather、Electricity、Solar)和 2 个高随机性临床数据(ECochG 人工耳蜗信号、MMG 子宫磁图信号)。
基线模型:对比 TimeGrad、SSSD、TimeDiff、TMDM 等主流扩散模型及 Transformer MAF。
评价指标:采用 NRMSE(归一化均方根误差)和 CRPS sum(累积分布概率评分)评估预测性能。
关键实验结果:
同质数据:与现有 SOTA 方法相当,在 Weather 数据集上 NRMSE 达 0.491(最优)。
临床数据突破:ECochG 数据集 NRMSE 0.859、CRPS sum 0.435;MMG 数据集 NRMSE 1.529、CRPS sum 0.818,均为最优,相对提升约 15% 和 14%。
采样效率:5 步预测采样时间仅 0.9813 秒,显著快于其他模型(如 TimeGrad 需 2.75 秒)
消融实验:数据驱动先验是关键提升因素,仅增加 3.1% 参数即显著改善性能
实际应用案例:在人工耳蜗植入手术模拟中,StochDiff 能准确预测耳蜗微音信号(CM)的 “创伤性下降”(幅度下降 > 30%),且实时采样速度满足手术需求,证明其在临床监测中的实用价值。
小小总结
StochDiff 通过深度整合扩散过程与时序建模,以及数据驱动的分步先验设计,有效解决了高随机性时间序列的预测挑战。在临床等高变异场景中表现卓越,同时保持高效采样性能,为医疗等关键领域的时序预测提供了创新方法。
2025顶会前沿时序合集,攻🀄豪关注“时序大模型”,回复“资料”即可自取~
关注小时,持续学习前沿时序技术!