今日应用
今日话题
KAN干翻MLP,开创神经网络新范式!一个数十年前数学定理,竟被MIT华人学者复活了
文章摘要
极市导读:KAN的诞生标志着机器学习领域的新纪元,这一创新由MIT华人科学家Ziming Liu及其团队提出。与多层感知器(MLP)相比,KAN架构在神经网络的透明性和功能上实现了显著提升,为科学研究提供了新的视角和工具。
神经网络的革新:神经网络作为AI领域的核心工具,在处理大数据集时展现出无与伦比的能力。然而,MLP作为神经网络的基本组件,其“黑盒”特性限制了人们对其内部运作原理的理解。为了解决这一问题,研究人员一直在探索更透明且可靠的神经网络架构。2024年4月,MIT、加州理工等机构的研究人员提出了Kolmogorov-Arnold network(KAN),这一新架构不仅透明,而且在处理特定问题时几乎可以替代普通神经网络。
KAN的起源与优势:KAN的构想源于上世纪中期的数学思想,由数学家Andrey Kolmogorov和Vladimir Arnold提出。这一数学原理在深度学习时代被华人科学家Ziming Liu及其团队重新发现并应用于神经网络。KAN通过使用函数而非数值权重的边进行函数拟合,展现了更高的灵活性和敏感性。与MLP相比,KAN在表示某些函数时能够达到完美,而MLP则存在局限性。
MIT华人科学家的探索:Ziming Liu在MIT物理学研究生期间,决定重新探讨KAN的可能性。尽管面临导师和前人研究的质疑,Liu坚持探索并最终发现了KAN在科学应用中的潜力。在导师Max Tegmark的建议下,Liu尝试了多层KAN架构,成功处理了更复杂的任务。他们的研究团队进一步证明了三层KAN的可行性,并在六层KAN上进行了实验,每一层都能与更复杂的输出函数实现对准。
KAN在科学领域的应用:KAN在数学的纽结理论和凝聚态物理中的Anderson局域化现象中得到了验证。与MLP相比,KAN不仅提供了答案,还提供了解释,展现了其在科学领域中的巨大应用潜力。此外,KAN的可解释性使其在科学研究中具有独特的优势,能够揭示数据背后的物理原理。
KAN的未来发展:KAN的论文发表后,在AI领域引起了广泛关注。研究人员开始探索自己的KAN架构,并在求解偏微分方程等方面取得了显著成果。同时,KAN团队也在不断迭代和优化KAN架构,发布了“KAN 2.0”版本,旨在使其更加实用和易于使用。KAN的诞生不仅推动了“好奇心驱动的科学”的发展,也为研究人员提供了一种全新的科学研究方法。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台