具有万能逼近性质的深度神经网络设计:一阶优化方法

发布者:曹玲玲发布时间:2024-06-17浏览次数:10

报告人:林宙辰 教授 北京大学

时间:2024年6月19日(周三)15:30

地点:东南大学九龙湖校区计算机楼513室

报告人简介:林宙辰是北京大学智能学院副院长,博雅特聘教授,研究领域为机器学习和计算机视觉。他在人工智能核心期刊和会议上发表论文300余篇,出版中英文专著5本,谷歌引用数为34,000余次。他曾多次担任多个业内顶级会议的领域主席和资深领域主席。他曾获2023年度CAAI和2020年度CCF科学技术奖自然科学一等奖。他是中国图象图形学学会(CSIG)机器视觉专委会主任,中国自动化学会模式识别与机器智能专委会副主任,IAPR、IEEE、CSIG和AAIA的会士,国家杰青,科技部科技创新2030-“新一代人工智能”重大项目负责人。

报告摘要:万能逼近能力是深度神经网络成功的基石。然而,几乎所有现有的深度神经网络设计方法都忽略了万能逼近的性质。我们提出了一个统一的框架,基于一阶优化算法来设计具有万能逼近能力保证的深度神经网络架构,其中前向传播被解读为优化算法的更新步骤,(显式或隐式)网络是通过用类似于两层网络或其变形的可学习模块替换算法中的每个梯度项来设计的。我们得到的是深度神经网络都是宽度有界的,即其宽度不会随着逼近精度的提高而增加,因此贴近当前常见的实际场景。此外,在网络中添加归一化、下采样和上采样等操作不会损害万能逼近能力。据我们所知,这是第一个以原则的方式设计具有万能逼近保证的宽度有界网络的工作。我们的框架可以启发各种神经网络架构,包括著名的ResNet和DenseNet等,以及更多新颖的架构。实验结果验证了我们的框架的有效性。

  • 联系方式
  • 通信地址:南京市江宁区东南大学路2号东南大学九龙湖校区计算机学院
  • 邮政编码:211189
  • ​办公地点:东南大学九龙湖校区计算机楼
  • 学院微信公众号