论文摘要
随着当今社会经济和科学技术的飞速发展,现实生活中涌现出大量的大规模优化问题.大规模优化问题广泛应用于国防建设、工程设计、农业生产等多个领域.梯度算法是解决优化问题的一类重要方法,其具有计算简单、易于储存等优点,是求解大规模无约束优化问题的一种较好的选择,更能适应当今大数据、云计算的时代.其中Barzilai-Borwein（BB）算法以其简便性和高效的数值性能激发起人们对梯度法研究的热情.众所周知,梯度模型的建立与选择对梯度算法的数值性能有着至关重要的影响,因此构建更准确且有效的梯度模型不仅具有理论意义,同样也具有非常重要的实际应用价值.近年来,无约束优化问题的三次正则算法作为一种新的高效算法被提出,成为信赖域算法和线搜索算法之外的一种新选择.三次正则算法的基本思想是通过对目标函数的三次过高估计模型求近似全局极小值来达到求解近似目标函数极小值的目的.目标函数Hessian矩阵是L连续时,三次正则模型拥有比最速下降模型更好的计算复杂度.自适应的三次正则化算法和线搜索一样都是求解无约束优化问题的重要方法,如何充分利用它们的优点,高效的将两种方法结合是一个新的挑战.本文针对梯度算法的高效性,结合三次正则化模型提出了两类新的梯度算法,主要工作如下:针对梯度法,利用三次正则化模型能够包含比二次模型更多的函数信息的特点,构造出当前迭代点的三次正则化近似最优模型,计算出新的近似最优步长.并建立合理的模型选择机制,自适应的选取二次模型或者三次正则化模型.此外,对正则参数的更新方式做了适当改进来匹配新算法.提出一种基于三次正则化模型的求解无约束优化问题的近似最优梯度法,并且建立了算法的全局收敛性.设计一个BB类型参数,构造一个含有BB类型参数的标量矩阵来近似目标函数的Hessian矩阵.构造当前迭代点处的三次正则化模型,通过极小化三次正则化模型求解试探步,简化三次正则化算法子问题的求解过程,并提出了一种简单模型的三次正则化BB算法.考虑到BB算法的非单调性,结合非单调线搜索技术提出一种非单调的简单模型的三次正则化BB算法.在假设条件成立的情况下,建立了算法的全局收敛性.对给出的函数测试集,所提算法的数值性能优于传统的BB算法和近似最优梯度算法GM-AOS（cone）,并较于著名的有限内存共轭梯度算法CG DESCENT（6.0）有一定的竞争力.
论文目录
文章来源
类型: 硕士论文
作者: 楚王莉
导师: 刘红卫
关键词: 大规模无约束优化,梯度算法,三次正则算法,非单调线搜索,算法,全局收敛性
来源: 西安电子科技大学
年度: 2019
分类: 基础科学
专业: 数学
单位: 西安电子科技大学
分类号: O224
DOI: 10.27389/d.cnki.gxadu.2019.000273
总页数: 66
文件大小: 2021K
下载量: 43