今日应用
今日话题
谁说大象不能起舞! 重编程大语言模型实现跨模态交互的时序预测 | ICLR 2024
重点标签 模型重编程、大语言模型、时序预测、跨模态、时空数据
文章摘要
摘要:
本文介绍了一种名为Time-LLM的框架,该框架通过模型重编程(model reprogramming)技术,使得大语言模型(LLMs)能够在不经修改的情况下进行高精度时序预测。研究人员来自澳大利亚蒙纳士大学、蚂蚁集团、IBM研究院等机构,他们的研究推动了大模型与时序/时空数据结合的新方向。Time-LLM框架使用文本原型对时序数据进行重编程,并通过提示做前缀(Prompt-as-Prefix,PaP)的方法激活LLM在时序任务上的处理能力。实验结果显示,Time-LLM在多个数据集和预测任务中超越了传统的时序模型,尤其在少样本(Few-shot)与零样本(Zero-shot)学习任务上表现突出。
详细总结:
1. 问题背景与研究动机:
时序数据在现实世界中无处不在,而时序预测在动态系统中具有重要意义。与NLP和CV领域不同,时序预测模型通常需要专门设计。尽管LLMs在处理复杂标记序列时表现出色,但将它们应用于时间序列和时空任务仍面临挑战。
2. Time-LLM框架:
– 时序输入重编程: 使用文本原型表示时序数据的语义信息,实现时序数据与自然语言的模态对齐。
– 提示做前缀(PaP): 在时序数据表征前添加上下文提示和任务指令,激活LLM在时序任务上的处理能力。
3. 实验效果:
Time-LLM在8个公开数据集上的长程预测任务中显著超过现有最佳模型,并在少样本和零样本学习任务中表现优异。
4. 总结与展望:
LLMs的发展推动了跨模态场景的进步,但它们的大规模参数和NLP场景设计带来了挑战。Time-LLM框架通过跨模态互动,将LLMs应用于大规模时间序列和时空数据,释放了LLMs在这些领域的潜力。
致谢:
本项目得到了蚂蚁集团智能引擎事业部NextEvo的支持,特别是语言与机器智能团队和优化智能团队的合作。在周俊副总裁和卢星宇团队负责人的带领下,项目取得了重要成果。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心