全面超越Transformer!清华蚂蚁推出纯MLP架构,长短程时序预测大幅提升

AI最新资讯1个月前发布 tree
28 0 0

今日应用


今日话题


全面超越Transformer!清华蚂蚁推出纯MLP架构,长短程时序预测大幅提升
全面超越Transformer!清华蚂蚁推出纯MLP架构,长短程时序预测大幅提升
 

重点标签 TimeMixerMLP架构时序预测Transformer性能超越

文章摘要


蚂蚁集团与清华大学联合推出了一种名为TimeMixer的纯MLP(多层感知机)架构模型,在时序预测的性能和效能上全面超越了Transformer模型。这一成果得益于TimeMixer模型对时序趋势周期特性的分解和多尺度混合的设计模式,使其在长短程预测性能上大幅提升,同时保持了接近于线性模型的高效率。

MLP架构的创新
TimeMixer模型采用多尺度混合架构,通过全MLP架构解决了时间序列预测中的复杂时间变化问题。模型由Past Decomposable Mixing (PDM)和Future Multipredictor Mixing (FMM)两大模块构成,有效利用多尺度序列信息。PDM模块负责提取过去的信息并进行多尺度混合,而FMM则是多个预测器的集合,集成了多尺度序列的互补预测功能。

实验验证
为了验证TimeMixer的性能,研究团队在18组基准数据集上进行了实验,涵盖了长程预测、短程预测、多元时序预测以及具有时空图结构的场景,如电力负荷预测、气象数据预测和股票价格预测等。实验结果显示,TimeMixer在预测精度、计算效率、模型可解释性和泛化能力等方面均优于当前最先进的Transformer模型。

性能提升
TimeMixer在所有测试数据集上展现出更高的预测精度,例如在电力负荷预测中,平均绝对误差(MAE)降低了约15%,均方根误差(RMSE)降低了约12%。此外,由于MLP结构的高效计算特性,TimeMixer在训练时间和推理时间上也显著优于Transformer模型,训练时间减少了约30%,推理时间减少了约25%。

模型可解释性与泛化能力
TimeMixer通过引入PDM和FMM技术,能够更好地解释不同时间尺度上的信息贡献,使模型的决策过程更加透明和易于理解。同时,TimeMixer在多个不同类型的数据集上表现出良好的泛化能力,适应不同的数据分布和特征。

未来展望
TimeMixer为时序预测领域带来了新的思路,展示了纯MLP结构在复杂任务中的潜力。随着更多优化技术和应用场景的引入,TimeMixer有望进一步推动时序预测技术的发展,为各行业带来更大的价值。本项目得到了蚂蚁集团智能引擎事业部旗下AI创新研发部门NextEvo的支持,NextEvo团队负责蚂蚁运筹优化、时序预测以及预测优化相结合的智能决策等技术方向的研发。

论文地址:[https://arxiv.org/abs/2405.14616v1](https://arxiv.org/abs/2405.14616v1)
论文代码:[https://github.com/kwuking/TimeMixer](https://github.com/kwuking/TimeMixer)

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...