KDD2025 | CAM:元学习+扩散，搞定任意历史长度、未来 horizon 和跨域预测！

时序大模型

于 2025-08-18 11:26:13 发布

阅读量613

点赞数 20

CC 4.0 BY-SA版权

文章标签：人工智能 KDD2025 时间序列时间序列预测元学习跨域预测未来horizon

本文链接：https://blog.csdn.net/sxdmx12345/article/details/150486757

本篇论文来自KDD2025第二轮投稿，最新时序前沿技术，针对不同预测场景重新训练，在工业应用中实用性不足的问题，提出了一个新的CMA框架。

了解顶会最新技术，紧跟科研潮流，研究与写作才能保持在时代一线，全部73篇KDD2025(1+2轮)前沿时序合集小时已经整理好了，在功🀄浩“时序大模型”发送“资料”扫码回复“KDD2025时序合集”即可自取~其他顶会时序合集也可以回复相关顶会名称自取哈~（AAAI25,ICLR25,ICML25等）

文章信息

论文名称：CMA:AUnified Contextual Meta-Adaptation Methodology for Time-Series Denoising and Prediction

论文作者：Haiqi Jiang、Ying Ding、Chenjie Pan、Aimin Huang、Rui Chen、Chenyou Fan

研究背景

现有时间序列预测方法存在显著局限性，传统自回归模型（如基于 RNN、Transformer 的模型）和非自回归模型（如 TimeDiff、Diffusion - TS）均依赖固定的历史长度和未来预测窗口。这导致它们在处理非平稳模式、长期依赖关系和动态变化模式时灵活性不足，且针对不同预测场景需重新训练，难以满足实际工业应用需求。

因此提出了一个新的Contextual Meta - Adaptation（CMA）框架以解决上面的问题。

模型框架

CMA 是一个整合去噪扩散能力、联合上下文学习流程和高效模型更新策略的统一框架，可通过单模型实现对可变历史长度、未来预测范围及跨域迁移的适配。有三个主要部分:

扩散适配器（Diffusion Adapter）：将时间步t嵌入注意力层的 QKV 投影，与时间序列补丁令牌结合，支持交替预测和逐步去噪扩散，能灵活集成到 iTransformer、TimeXer 等主流骨干模型。

联合上下文学习流程：通过交替生成与历史数据对齐的序列和基于当前模式适配模型，捕捉长期趋势与变化模式，实现扩展未来预测范围和跨域预测。

高效模型更新策略：

训练阶段：采用基于梯度的元学习进行全参数微调，通过元适应损失（包含观测重建损失和负对数似然损失）优化参数，使模型快速适应数据域潜在模式。
测试阶段：提出低秩测试时适应（LoRTA），仅更新额外的 LoRA 权重，冻结预训练全参数。该方式保持高性能，降低 98.8% 计算成本，提升 27% 速度。

有三个核心能力：

上下文内学习（In-context Learning）：无需重新训练，可基于任意长度历史数据学习，适配不同历史长度，捕捉多样 temporal 关系。
扩展上下文学习（Ex-context Learning）：以自回归方式外推至任意未来步数，利用固定短范围基模型通过 LoRTA 扩展至更长未来预测范围，无需重新训练。
跨上下文学习（Cross-context Learning）：实现知识从源域到目标域的迁移，在目标域数据有限时，结合观测历史和最新预测进行模型适配，有效预测 unseen 上下文。

实验数据

数据集：使用 6 个学术数据集（如 ETTm2、Electricity、Traffic 等）和 4 个工业数据集（如中国碳交易、加密货币、股票市场数据等）。

对比方法：与 Autoformer、iTransformer、TimeXer 等主流预测模型，DiffusionTS 生成技术，以及 FSNet、Tent、CoTTA 等持续学习和测试时适应方法对比。

关键结果：

学术数据集平均提升 7%，工业数据集平均提升 16%。
上下文内学习中，CMA-In-T 较 TimeXer 在不同未来预测范围（F96/F192/F336）的 MSE 分别降低 7%、6%、10%；CMA-In-i 较 iTransformer 对应降低 4%、4%、9%。
扩展上下文学习中，CMA-Ex 系列在长预测范围优于骨干模型，且超越 TTA 基线 11-23%。
跨域学习中，在碳市场和加密货币市场迁移任务中，MSE 较基线降低 17-36%，效率显著提升。

消融实验：验证了模型适配、元适应步数、负对数似然正则项及 LoRTA 的有效性，各组件对性能提升至关重要。