中国科学院-裘槎基金会联合实验室项目《非线性优化理论、算法和应用》亮点成果

        由中国科学院数学与系统科学研究院承担的中国科学院-裘槎基金会联合实验室资助计划项目《非线性优化理论、算法和应用》，通过与香港理工大学展开合作，围绕带有非光滑激活函数的深度神经网络的有收敛性保证的高效算法这一课题展开了合作。

        近年来，带有非光滑激活函数的深度神经网络（简称为非光滑网络）在人工智能的科研和应用领域被广泛应用。在训练非光滑网络时，直接使用随机梯度算法不仅会遇到过拟合现象等，而且在理论中缺乏收敛性和解的有界性等瓶颈困难。我们着眼于一类特殊的双层非光滑网络——非光滑自编码问题。为了严格处理非光滑自编码问题中的非凸性与非光滑性，我们利用非光滑优化方法，提出了一类有界解集的带线形约束的新优化模型；分析了新优化模型与原模型的等价性；并设计了一类光滑化临近点算法求解该模型。我们严格证明了新算法能找到原模型的一个有界的稳定点，并通过数值实验发现光滑化临近点算法相对于随机梯度算法在人工合成数据集和实际数据集上，都能得到更低的训练误差和测试误差。进而，我们将该方法框架拓展到具有分组稀疏正则化项的leaky ReLU网络上，数值⛽️实验显示我们的算法对于训练稀疏leaky ReLU神经网络比SGD、ADAM等算法更为高效。相关文章分别于2022年和2023年发表于SIAM Journal on Optimization和Journal of Machine Learning Research上。

        合作中，香港理工大学应用数学系陈小君讲座教授和刘为博士提出的光滑化技术及其相关理论分析，为本成果的顺利实现提供了坚实的算法基础。相关成果获得SIAM会士，SIAM Review前主编Tim Kelly的公开引用和高度评价。