原作者带队,LSTM真杀回来了!

AI最新资讯6个月前发布 tree
84 0 0

今日应用


今日话题


原作者带队,LSTM真杀回来了!
原作者带队,LSTM真杀回来了!
 

重点标签 xLSTMLSTMTransformer语言模型深度学习

文章摘要


步骤2:撰写摘要总结
xLSTMLSTM的重生与进化
在20世纪90年代,长短时记忆(LSTM)方法引入了恒定误差选择轮盘和门控的核心思想,为深度学习的成功案例做出了贡献。然而,随着Transformer的崛起,LSTM的局限性逐渐显现。最近,LSTM的提出者Sepp Hochreiter发布了xLSTM,旨在缩小与现有最先进语言模型(LLM)的差距。

xLSTM的改进与特性
xLSTM在三个方面解决了LSTM的局限性:无法修改存储决策、存储容量有限以及缺乏可并行性。xLSTM通过指数门控和新颖的内存结构进行了改进,包括sLSTM和mLSTM两种变体,它们都通过指数门控增强了LSTM。xLSTM块在高维空间中对过去进行非线性总结,以更好地分离不同的历史或上下文。

实验评估
研究者对xLSTM进行了实验评估,发现其在合成任务中表现出色,并在验证集复杂度方面优于所有现有方法。在自回归语言建模设置中,xLSTM在不同大小的模型上进行了训练,并在多个方面进行了深入评估,包括推断较长语境、验证易混度、下游任务表现以及在PALOMA语言基准数据集上的表现。结果表明,xLSTM在性能和扩展性上都更胜一筹。

未来展望
Sepp Hochreiter表示,借助xLSTM,他们已经开始构建自己的欧洲语言模型。这表明xLSTM有望在未来的语言模型领域发挥重要作用,为汽车产业数字化和产品智能化升级带来新的机遇和挑战。

文章来源


原文地址: 点我阅读全文
原文作者: 机器之心

© 版权声明

相关文章

暂无评论

暂无评论...