全面超越Transformer！清华蚂蚁推出纯MLP架构，长短程时序预测大幅提升

今日应用

光速写作

光速写作转为大学生及职场（公务）人士提供的全新智能写作软件。提供全文生成，大纲生成、文章改写、续写、扩写，AI问答，以及在各类根据您输入需求自动生成您需要的文本等AI功能。

今日话题

全面超越Transformer！清华蚂蚁推出纯MLP架构，长短程时序预测大幅提升

 

重点标签 TimeMixer、MLP架构、时序预测、Transformer、性能超越

文章摘要

蚂蚁集团与清华大学联合推出了一种名为TimeMixer的纯MLP（多层感知机）架构模型，在时序预测的性能和效能上全面超越了Transformer模型。这一成果得益于TimeMixer模型对时序趋势周期特性的分解和多尺度混合的设计模式，使其在长短程预测性能上大幅提升，同时保持了接近于线性模型的高效率。

纯MLP架构的创新
TimeMixer模型采用多尺度混合架构，通过全MLP架构解决了时间序列预测中的复杂时间变化问题。模型由Past Decomposable Mixing (PDM)和Future Multipredictor Mixing (FMM)两大模块构成，有效利用多尺度序列信息。PDM模块负责提取过去的信息并进行多尺度混合，而FMM则是多个预测器的集合，集成了多尺度序列的互补预测功能。

实验验证
为了验证TimeMixer的性能，研究团队在18组基准数据集上进行了实验，涵盖了长程预测、短程预测、多元时序预测以及具有时空图结构的场景，如电力负荷预测、气象数据预测和股票价格预测等。实验结果显示，TimeMixer在预测精度、计算效率、模型可解释性和泛化能力等方面均优于当前最先进的Transformer模型。

性能提升
TimeMixer在所有测试数据集上展现出更高的预测精度，例如在电力负荷预测中，平均绝对误差（MAE）降低了约15%，均方根误差（RMSE）降低了约12%。此外，由于MLP结构的高效计算特性，TimeMixer在训练时间和推理时间上也显著优于Transformer模型，训练时间减少了约30%，推理时间减少了约25%。

模型可解释性与泛化能力
TimeMixer通过引入PDM和FMM技术，能够更好地解释不同时间尺度上的信息贡献，使模型的决策过程更加透明和易于理解。同时，TimeMixer在多个不同类型的数据集上表现出良好的泛化能力，适应不同的数据分布和特征。

未来展望
TimeMixer为时序预测领域带来了新的思路，展示了纯MLP结构在复杂任务中的潜力。随着更多优化技术和应用场景的引入，TimeMixer有望进一步推动时序预测技术的发展，为各行业带来更大的价值。本项目得到了蚂蚁集团智能引擎事业部旗下AI创新研发部门NextEvo的支持，NextEvo团队负责蚂蚁运筹优化、时序预测以及预测优化相结合的智能决策等技术方向的研发。

论文地址：[https://arxiv.org/abs/2405.14616v1](https://arxiv.org/abs/2405.14616v1)
论文代码：[https://github.com/kwuking/TimeMixer](https://github.com/kwuking/TimeMixer)

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台