搜索 导航

转发:学术报告:From Sparse Representation to Non-Gradient Neural Network Training Algorithm

Publisher:李君钰Date:2023-04-18Views:10

报告人:丁数学,教授、博士生导师,桂林电子科技大学

  间:2023年4月21日周五上午9:30-11:00

  点:江宁校区勤学楼4202会议室

 要:

       训练效率及精度成为神经网络算法,即梯度反向传播与随机梯度下降优化算法这一领域的瓶颈,针对这一问题及我国深度学习研究在算法方面相对于应用方面薄弱的状况,本研究通过导入超越梯度信息的反向传播及非基于梯度的优化方法,构建一整套新的神经网络训练算法,以期达到在性能上实现新突破的目的。为此,我们首先导入非线性稀疏表示及字典学习问题,其本身是机器学习的一个新领域。此问题可以归结为一个非线性、非凸、非光滑目标函数的优化问题,不能用基于梯度的优化算法求解因此具有挑战性。我们通过引入增强拉格朗日乘子及邻近算子等近代优化技术构建有效算法。然后,我们把神经网络训练问题转化为一系列反向传播的非线性字典学习问题并用其算法构建神经网络训练的新算法,即所谓非梯度反向传播及算法。

  

报告人简介:

      丁数学博士,现任桂林电子科技大学人工智能学院教授、博士生导师。1996年获日本东京工业大学博士学位。2014年天津市千人计划(创新短期)入选者,2015年起兼任南开大学光学与电子信息工程学院讲座教授,博士生导师。曾任日本会津大学终身教授,认知科学研究室主任,计算机与系统工程系主任,会津大学教育与研究审议会委员等职务。曾多年兼任日本理化学研究院脑科学研究中心客员研究员。IEEE Systems, Man & Cybernetics Society, Awareness Computing技术委员会委员及主要发起人之一。2019年3月受聘为桂林电子科技大学人工智能学院创院院长全职回国工作,兼任桂林市经华高新技术产业研究院长。