主题：求解Lq范数范数复合优化问题的一个正则化牛顿方法 A regularized Newton method for $\ell_q$-norm composite optimization problems
主讲人：香港理工大学应用数学系杨晓琪教授
主持人：数学学院 孟开文副教授
时间：2024年04月1 日（周一） 16:00-17:00
地点：柳林校区通博楼B412会议室
主办单位：数学学院 科研处
主讲人简介：
杨晓琪，香港理工大学应用数学系教授，1982年重庆建筑大学获数学学士学位，1987年中国科学学院运筹与最优控制方向获硕士学位，1994年新南威尔士大学获博士学位，1999年入职香港理工大学应用数学系担任助理教授，2002年荣升副教授，2005年荣升教授。杨教授的研究兴趣包括非光滑分析，向量优化以及金融优化，合作撰写3部专著，发表两百多篇学术论文，是JOTA等刊物的联系编委，在诸如MS,OR, MP, SIAM OPT等高水平期刊上发表多篇学术论文。
内容提要：
In this talk we are concerned with $\ell_q\,(0<q<1)$-norm regularized minimization problems with a twice continuously differentiable loss function. For this class of nonconvex and nonsmooth composite problems, many algorithms have been proposed to solve them and most of which are of the first-order type. We propose a hybrid of proximal gradient method and subspace regularized Newton method, named HpgSRN. The whole iterate sequence produced by HpgSRN is proved to have a finite length and converge to an $L$-type stationary point under a mild curve-ratio condition and the Kurdyka-{\L}ojasiewicz property of the cost function, which does linearly if further a Kurdyka-{\L}ojasiewicz property of exponent $1/2$ holds. Moreover, a superlinear convergence rate for the iterate sequence is also achieved under an additional local error bound condition. Our convergence results do not require the isolatedness and strict local minimality properties of the $L$-stationary point. Numerical comparisons with ZeroFPR, a hybrid of proximal gradient method and quasi-Newton method for the forward-backward envelope of the cost function, proposed in [A. Themelis, L. Stella, and P. Patrinos, {\em SIAM J. Optim., } 28(2018), pp. 2274-2303] for the $\ell_q$-norm regularized linear and logistic regressions on real data indicate that HpgSRN not only requires much less computing time but also yields comparable even better sparsities and objective function values.
在该报告中，我们关注二次连续可微损失函数的Lq(0<q<1)范数正则化问题。针对这类非凸且非光滑的复合问题，现有文献已经提出了许多算法来解决，其中大部分都是一阶算法。对于这类模型，我们提出了一种混合邻近梯度法和子空间正则化牛顿法的新方法。在一个曲率条件和目标函数的Kurdyka-Lojasiewicz性质下，我们证明了该算法产生的迭代序列是一个柯西列，且收敛到一个L-型稳定点。如果进一步假设目标函数满足指数为1/2的Kurdyka-Lojasiewicz性质，则收敛速度是线性的。此外，在额外的局部误差界条件下，我们证明了迭代序列具有超线性收敛速率。我们的收敛结果并不需要L-型稳定点的孤立性和严格局部最小性质。在数值实验中，与两类常用的算法比较中显示，我们提出的混合算法不仅需要更少的计算时间，而且还产生了相当甚至更好的稀疏性和目标函数值的解。
