报告题目:基于PID的动量梯度算法分析与应用
主 讲 人:喻 高 航
单 位:杭州电子科技大学数学系
时 间:1月9日16:00
腾 讯 ID:156 293 932
摘 要:
机器学习/深度学习很多任务通常转化为求解大规模优化问题。进而采用一阶优化方法求解,如动量梯度算法及随机动量梯度算法等。最近,结合控制领域中经典的“比例-积分-微分”(PID)控制器,有人提出了所谓的PID算法。一定的情形下,PID算法可以退化为传统的动量梯度算法。实验表明PID算法能够克服超调现象,并有效改善动量梯度算法的计算效率。基于一个正则条件,我们给出了PID算法的收敛性分析。进一步,结合PID算法与拟牛顿方程,我们提出了一类预条件动量梯度算法。预条件因子的选取能够有效提高算法效率。对经典的CIFAR数据集,仿真结果验证了算法的有效性。最后,我们也讨论了一类自适应重启的动量梯度算法。
简 介:
喻高航,杭州电子科技大学教授、博导,主要从事张量数据分析、大规模优化计算及其在机器学习、图像处理与医学影像中的应用研究。先后在SIAM Journal on Imaging Sciences, International Journal of Robust and Nonlinear Control,IEEE Signal Processing Letters,Journal of Mathematical Imaging and Vision等国际期刊上发表40余篇SCI论文,主持4项国家自科基金、1项教育部博士点基金、1项教育部新世纪优秀人才支持计划项目和1项浙江省自然科学基金重大项目课题等,有多篇论文入选ESI高被引榜单。自2013年起任国际学术期刊Statistics, Optimization and Information Computing执行编委(Coordinating Editor).