今日应用
今日话题
谁说大象不能起舞! 重编程大语言模型实现跨模态交互的时序预测 | ICLR 2024
重点标签 模型重编程、大语言模型、时序预测、跨模态、时空数据
文章摘要
摘要：
本文介绍了一种名为Time-LLM的框架，该框架通过模型重编程（model reprogramming）技术，使得大语言模型（LLMs）能够在不经修改的情况下进行高精度时序预测。研究人员来自澳大利亚蒙纳士大学、蚂蚁集团、IBM研究院等机构，他们的研究推动了大模型与时序/时空数据结合的新方向。Time-LLM框架使用文本原型对时序数据进行重编程，并通过提示做前缀（Prompt-as-Prefix，PaP）的方法激活LLM在时序任务上的处理能力。实验结果显示，Time-LLM在多个数据集和预测任务中超越了传统的时序模型，尤其在少样本（Few-shot）与零样本（Zero-shot）学习任务上表现突出。
详细总结：
1. 问题背景与研究动机：
时序数据在现实世界中无处不在，而时序预测在动态系统中具有重要意义。与NLP和CV领域不同，时序预测模型通常需要专门设计。尽管LLMs在处理复杂标记序列时表现出色，但将它们应用于时间序列和时空任务仍面临挑战。
2. Time-LLM框架：
– 时序输入重编程： 使用文本原型表示时序数据的语义信息，实现时序数据与自然语言的模态对齐。
– 提示做前缀（PaP）： 在时序数据表征前添加上下文提示和任务指令，激活LLM在时序任务上的处理能力。
3. 实验效果：
Time-LLM在8个公开数据集上的长程预测任务中显著超过现有最佳模型，并在少样本和零样本学习任务中表现优异。
4. 总结与展望：
LLMs的发展推动了跨模态场景的进步，但它们的大规模参数和NLP场景设计带来了挑战。Time-LLM框架通过跨模态互动，将LLMs应用于大规模时间序列和时空数据，释放了LLMs在这些领域的潜力。
致谢：
本项目得到了蚂蚁集团智能引擎事业部NextEvo的支持，特别是语言与机器智能团队和优化智能团队的合作。在周俊副总裁和卢星宇团队负责人的带领下，项目取得了重要成果。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心
相关文章
