Time-LLM

原创

已于 2024-04-13 15:54:40 修改 · 382 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能

于 2024-04-13 15:52:07 首次发布

最近，来自澳大利亚蒙纳士大学、蚂蚁集团、IBM 研究院等机构的研究人员探索了模型重编程 (model reprogramming) 在大语言模型 (LLMs) 上应用，并提出了一个全新的视角：高效重编程大语言模型进行通用时序预测 –- 其提出的 Time-LLM 框架无需修改语言模型即可实现高精度时序预测，在多个数据集和预测任务中超越了传统的时序模型，让 LLMs 在处理跨模态的时间序列数据时展现出色，就像大象起舞一般！

近期，受到大语言模型在通用智能领域的启发，「大模型 + 时序 / 时空数据」这个新方向迸发出了许多相关进展。当前的 LLMs 有潜力彻底改变时序 / 时空数据挖掘方式，从而促进城市、能源、交通、遥感等典型复杂系统的决策高效制定，并朝着更普遍的时序 / 时空分析智能形式迈进。

大模型，例如语言和其他相关的基础模型，既可以训练，也可以巧妙地重新调整其用途，以处理一系列通用任务和专用领域应用中的时间序列和时空数据。来源：https://arxiv.org/pdf/2310.10196.pdf

最近的研究将大型语言模型从处理自然语言拓展到时间序列和时空任务领域。这种新的研究方向，即「大模型 + 时序 / 时空数据」，催生了许多相关进展，例如 LLMTime 直接利用 LLMs 进行零样本时序预测推理。尽管 LLMs 具备强大的学习和表示能力，能够有效地捕捉文本序列数据中的复杂模式和长期依赖关系，但作为专注于处理自然语言的「黑匣子」，LLMs 在时间序列与时空任务中的应用仍面临挑战。相较于传统的时间序列模型如 TimesNet，TimeMixer 等，LLMs 以其庞大的参数和规模可与「大象」相提并论。

因此，如何「驯服」这种在自然语言领域训练的 LLMs，使其能够处理跨越文本模态的数值型序列数据，在时间序列和时空任务中发挥出强大的推理预测能力，已成为当前研究的关键焦点。为此，需要进行更深入的理论分析，以探索语言和时序