标签:机器学习

KAN干翻MLP,开创神经网络新范式!一个数十年前数学定理,竟被MIT华人学者复活了

极市导读:KAN的诞生标志着机器学习领域的新纪元,这一创新由MIT华人科学家Ziming Liu及其团队提出。与多层感知器(MLP)相比,KAN架构在神经网络的透明性和...

梯度下降是门手艺活

极市导读 梯度下降法是优化算法中的基础,它通过调整步长来寻找函数的最小值。本文通过具体例子探讨了梯度下降法中步长选择的重要性,并指出了步长设置不当...

天下苦英伟达久矣!PyTorch官方免CUDA加速推理,Triton时代要来?

PyTorch 官方近期分享了如何实现无 CUDA 计算,并对各个内核进行了微基准测试比较,讨论了未来如何进一步改进 Triton 内核以缩小与 CUDA 的差距。在大语言模...

CVPR 2024|仅用合成数据训练模型到底行不行?有新发现!

摘要:在机器学习领域,合成数据的使用越来越受到重视,尤其是在需要大量数据训练模型的场景中。最近的研究显示,使用合成数据训练的自监督和多模态模型在多...

线性回归的解析解与数值解(含代码)

线性回归是机器学习中的基础算法,尽管简单,但其在工业界应用广泛,并且是理解更复杂模型的关键。本文将详细解析线性回归的基本概念、数学原理以及求解方法...

Yann LeCun不看好强化学习:「我确实更喜欢 MPC」

文章通过对比分析了RL和MPC的优缺点,指出RL适合解决复杂动力学或未知系统模型的问题,而MPC适用于建模良好且动态可预测的问题。此外,文章还讨论了ML-MPC的...

首个全自动科学发现AI系统,Transformer作者创业公司Sakana AI推出AI Scientist

AI Scientist的推出是人工智能在科学研究领域的重要突破,它通过自动化发现过程和整合AI驱动的审查系统,为解决最具挑战性的科学技术问题提供了新的可能性。...

新PyTorch API:几行代码实现不同注意力变体,兼具FlashAttention性能和PyTorch灵活性

FlexAttention是一个由PyTorch团队推出的新API,旨在解决注意力机制在机器学习中的实现问题。注意力机制是机器学习中的核心概念,但其实现往往需要针对特定变...

反转了?在一场新较量中,号称替代MLP的KAN只赢一局

新加坡国立大学的研究者对多层感知器(MLP)和Kolmogorov-Arnold Networks(KAN)进行了全面的比较。研究发现,在控制参数或浮点运算(FLOP)的情况下,KAN在...

无限生成视频,还能规划决策,扩散强制整合下一token预测与全序列扩散

MIT CSAIL的研究团队在陈博远博士的带领下,提出了一种名为Diffusion Forcing(DF)的训练和采样范式,将全序列扩散模型与自回归大型语言模型的优势结合起来...
1234