一阶优化算法启发，北大林宙辰团队提出具有万有逼近性质的神经网络架构的设计方法

今日应用

讯飞智作

讯飞智作配音网站为科大讯飞旗下产品,提供AI虚拟人主播,AI视频制作,数字人配音合成,短视频配音等一站式配音服务。

今日话题

一阶优化算法启发，北大林宙辰团队提出具有万有逼近性质的神经网络架构的设计方法

 

重点标签 深度学习、神经网络、网络架构、优化算法、万有逼近

文章摘要

1. 深度学习技术基于神经网络已在多个领域取得显著成果。
2. 神经网络的架构对学习效率有显著影响，好的架构能提高计算效率和稳定性。
3. 目前，经典的网络架构设计方法包括人工设计、神经网络架构搜索（NAS）和基于优化的设计方法。
4. 然而，现有设计方法大多忽略了网络的万有逼近性质，导致失去了先验性能保障。
5. 北京大学林宙辰教授团队提出了一种基于优化算法设计具有万有逼近性质的神经网络架构的方法，该方法通过将一阶优化算法的梯度项映射为神经网络模块，并根据实际问题调整模块结构，系统性地设计具有万有逼近性质的网络架构。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心