今日应用
今日话题
反转了?在一场新较量中,号称替代MLP的KAN只赢一局
重点标签 多层感知器、Kolmogorov-Arnold Networks、深度学习、神经网络、机器学习
文章摘要
新加坡国立大学的研究者对多层感知器(MLP)和Kolmogorov-Arnold Networks(KAN)进行了全面的比较。研究发现,在控制参数或浮点运算(FLOP)的情况下,KAN在符号公式表示任务中优于MLP,但在其他任务如机器学习、计算机视觉、自然语言处理和音频处理中,MLP通常优于KAN。KAN的优势在于其使用的B-样条激活函数,而MLP在替换为B-样条激活函数后性能得到提升,甚至在某些情况下超过了KAN。此外,KAN在连续学习任务中的表现并不比MLP好,且在固定训练迭代条件下,KAN的遗忘问题比MLP更严重。研究还详细分析了KAN和MLP的参数数量和FLOP,并在多个领域进行了实验,以确保比较的公平性。
摘要:
多层感知器(MLP)作为深度学习的基本组成部分,在机器学习中具有重要地位。然而,MLP存在局限性,如难以解释的表示和扩展性问题。Kolmogorov-Arnold Networks(KAN)作为MLP的替代方案,提供了更高的准确性和可解释性。为了探究KAN的潜力,新加坡国立大学的研究者在公平的设置下对KAN和MLP进行了全面比较。
研究结果显示,在控制参数或FLOP的情况下,KAN在符号公式表示任务中优于MLP,但在其他任务中通常不如MLP。KAN的优势来源于其使用的B-样条激活函数。当MLP使用B-样条激活函数后,其性能得到提升,甚至在某些情况下超过了KAN。然而,B-样条无法进一步提高MLP在其他任务上的性能。
在连续学习任务中,KAN的表现并不比MLP好。在固定的训练迭代条件下,KAN的遗忘问题比MLP更严重。此外,KAN和MLP的主要区别在于激活函数和线性与非线性运算的顺序。研究者通过比较KAN和MLP在不同任务上的表现,发现两者之间的差异主要是激活函数。
为了确保公平比较,研究者推导出了计算KAN和MLP参数数量和FLOP的公式,并在实验中控制相同数量的参数或FLOP来比较两者的性能。实验涵盖了机器学习、计算机视觉、自然语言处理、音频处理和符号公式表示等多个领域。
在机器学习数据集上,MLP在多数情况下保持优势。在计算机视觉数据集中,KAN的性能始终不如具有相同参数数量或FLOP的MLP。在音频和文本任务中,MLP仍然是更好的选择。然而,在符号公式表示任务中,KAN的表现优于MLP。
通过这项研究,我们可以看到KAN和MLP各有优势,选择哪一种取决于具体的任务需求。研究者的建议是,在符号公式表示任务中优先考虑KAN,而在其他任务中,MLP可能是更合适的选择。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心