今日应用
今日话题
爆火神经网络架构KAN更新2.0!研究者可专属定制,轻松应对经典物理学研究,作者:和MLP不能互相取代
重点标签 KAN2.0、神经网络、AI与科学、MLP、MIT华人
文章摘要
摘要:
最新版本的神经网络架构KAN2.0已经发布,它在与科学问题的融合方面取得了显著进步,能够轻松解决经典物理学问题。例如,KAN2.0能够发现描述物理系统动力状态的拉格朗日量。此外,研究者可以根据自己的专业知识定制KAN2.0,将其作为辅助变量添加到输入中。KAN2.0的前身KAN因其出色的性能引发了关于其是否能替代Transformer的MLP层的讨论,MIT博士生刘子鸣是此次研究的一作。
KAN2.0的主要目标是将AI与科学统一起来,解决它们之间固有的不兼容性问题。新框架通过科学到KAN和KAN到科学的双向协同作用,实现了这一目标。KAN2.0在科学发现方面的作用主要体现在三个方面:识别重要特征、揭示模块结构和发现符号公式。与原始KAN相比,KAN2.0引入了三个新功能:MultKAN(带有乘法节点的KAN)、kanpiler(将符号公式编译成KAN的编译器)和树转化器(将KAN2.0架构或任何神经网络转换为树状图)。
KAN2.0的解释性更加通用,适用于难以用符号方程表示的领域,如化学和生物学。用户可以将模块化结构构建到KAN2.0中,并通过与MLP神经元的交换直接观察到这些结构。此外,研究团队还探讨了如何将先验知识融入KAN2.0,并展示了KAN2.0发现各种经典物理定律的能力,如二维谐振子的守恒量和史瓦西黑洞的隐藏对称性。
研究团队计划将KAN2.0应用于更大规模的问题,并扩展到物理学以外的其他科学学科。刘子鸣在GitHub页面上提醒用户,KAN在设计和编写代码时主要考虑了数学和物理示例,可能不是开箱即用的简单插件。他强调KAN和MLP各有优势和局限性,不能互相取代。
原文链接:
– [论文链接](https://arxiv.org/abs/2408.10205)
– [GitHub页面](https://github.com/KindXiaoming/pykan?tab=readme-ov-file)
– [刘子鸣个人网站](https://kindxiaoming.github.io/)
– [刘子鸣社交媒体动态](https://x.com/ZimingLiu11/status/1825731703723405757)
相关资源:
– [多模态大模型超详细解读专栏](https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzI5MDUyMDIxNA==&action=getalbum&album_id=2918280735411683334#wechat_redirect)
– [搞懂Tranformer系列](https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzI5MDUyMDIxNA==&action=getalbum&album_id=2090301627206303744#wechat_redirect)
– [ICCV2023论文解读](https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzI5MDUyMDIxNA==&action=getalbum&album_id=3021109573835554818#wechat_redirect)
– [极市直播](https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzI5MDUyMDIxNA==&action=getalbum&album_id=1425604183083892737#wechat_redirect)
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台