标签:神经网络

神经网络也有空间意识!学会在Minecraft创建地图,登上Nature子刊

在一项突破性的研究中,科学家们首次证明了神经网络能够创建自己的空间地图。这项研究由Heritage Medical研究所的Matt Thomson教授和研究生James Gornet领导...

CNN一定比Transformer差吗?LeCun新作:神经网络在实践中的灵活性到底有多大?

本文探讨了影响神经网络拟合训练数据能力的多个因素,包括数据本身的性质、模型架构、大小、优化器和正则化器等。实验研究了不同数据集、架构和优化器对神经...

从LLM中完全消除矩阵乘法,效果出奇得好,10亿参数跑在FPGA上接近大脑功耗

在深度学习领域,矩阵乘法(MatMul)因其在神经网络操作中的主导地位而备受关注。然而,随着模型规模的扩大,MatMul 所占的计算开销也日益增加。为了解决这一...

来自OpenAI的可解释性新作:从GPT-4中提取概念!

研究人员正在探索一种新方法,通过稀疏性自动编码器来理解神经网络的内部活动。这种方法旨在找到人类可解释的“特性”,并具有更好的可扩展性。OpenAI开发了一...

OpenAI开源GPT-4 SAE,提供1600万个解释模式

OpenAI近期在其官网开源了GPT-4的稀疏自动编码器(SAE),这一技术对于开发具有前沿功能的大型语言模型(LLM)至关重要。SAE通过在训练过程中引入稀疏性约束...

不同数据集有不同的Scaling law?而你可用一个压缩算法来预测它

文章接着提出了一个问题:基于网络文本数据集得到的Scaling law是否具有普适性?为了回答这个问题,AI数据公司Reworkd的研究者Rohan Pandey进行了一项研究。...

ChatGPT如何「思考」?心理学和神经科学破解AI大模型,Nature发文

XAI的标准方法包括突出显示导致算法做出决策的图像部分,或构建决策树来近似AI的行为。尽管这些努力取得了一些成功,但XAI仍然是一个正在进行的工作。大型语...

Hinton万字访谈:用更大模型「预测下一个词」值得全力以赴

图灵奖得主Geoffrey Hinton在一次访谈中分享了他对人工智能领域的深刻见解。Hinton认为大型语言模型通过寻找不同领域的共同结构来进行编码,能够压缩信息并形...

爆火后反转?「一夜干掉MLP」的KAN:其实我也是MLP

步骤2:撰写摘要最近,一种名为KAN的新型神经网络模型引起了深度学习领域的关注。KAN,全称为Knowledge Aware Networks,由来自MIT等机构的研究者提出,其在...

一阶优化算法启发,北大林宙辰团队提出具有万有逼近性质的神经网络架构的设计方法

深度学习技术基于神经网络已在多个领域取得显著成果。神经网络的架构对学习效率有显著影响,好的架构能提高计算效率和稳定性。目前,经典的网络架构设计方法...
12