一、题目

Nesterov加速与高精度微分方程

二、主讲人

史斌

三、摘要

连续的常微分方程是用来学习梯以度为基础的优化算法。现存的连续极限的常微分方程无法区分强凸函数情况下的Nesterov加速算法和Polayk重球法，在这里，我们引进物理学中简化复杂微分方程的连续逼近的思想，采用一阶逼近所生成常微分方程，成为高精度微分方程。将展示：（1）这些高精度的微分方程提供一个一般性的Lyapunov框架来分析连续时间和离散时间的收敛性。这些高精度微分方程拥有着更精确的替代，不仅可以区分强凸函数下的Nesterov加速算法和Polyak重球法，更是可以发现特殊的一项“梯度矫正项”存在于强凸函数下的Nesterov加速算法中，而不存在于Polayk重球法中，从本质上区别了这两个算法。（2）对于一般凸函数意义下的Nesterov加速算法，通过这个高精度常微分方程框架，我们发现了其梯度模的平方自身就有O(1/k^3)的收敛速度。（3）同时对于alpha>3时，更一般的Nesterov加速算法，通过我们的高精度微分方程框架，我们可以获得更进一步的结果，猜测其梯度模的平方可能有o(1/k^3)的收敛速度。

四、主讲人简介

史斌，中国科学院数学与系统科学研究院副研究员，入选中科院百人计划。

五、邀请人

赵翀 数学学院副教授

六、时间

9月10日（周五）16:00

七、地点

腾讯会议，会议号：242107980

八、主办方

山东大学数学学院