一类基于GSL规则改进的坐标下降法

发布时间：2023-12-09 09:50

　　坐标下降法在优化问题中扮演着非常重要的作用.本文基于GSL规则提出了一类改进的坐标下降法来求解无约束优化问题.首先,本文利用GSL规则的乘法扰动所确定的指标集和一种新的概率准则,提出了贪婪的随机坐标下降法,并推导了该算法在期望意义下的收敛性.在指标集的确定过程中,引入松弛参数θ∈(0,1]使贪婪的随机坐标下降法得到进一步推广,即松弛的贪婪的随机坐标下降法.此外,本文分析了贪婪的随机坐标下降法求解无约束最小化问题的迭代复杂性,结果表明,该算法可以求解任意置信水平的无约束最小化问题.并且,用大量的数值实验验证了该算法的有效性.其次,将这些算法应用到最小二乘问题.为了避免计算A^TA,本文将算法的框架重新做了描述,并且给出了这些算法在期望意义下的收敛性.特别的,当松弛参数θ=1时,松弛的贪婪的随机坐标下降法约化为贪婪的坐标下降法,在这种情况下,证明了该算法的收敛表达式.进一步,讨论了块坐标下降法来求解最小二乘问题,基于GSL规则的乘法扰动所确定的指标集提出了贪婪的块坐标下降法,并推导了该算法的收敛性.另外,利用这些算法求解最小二乘问题来测试本文提出的算法的有效性.最后,基...

【文章页数】：65 页

【学位级别】：硕士

【文章目录】：
中文摘要
Abstract
第一章 引言
    1.1 坐标下降法的概述及相关研究
    1.2 本文的主要工作
第二章 预备知识
    2.1 符号
    2.2 基本假设
    2.3 随机坐标下降法
第三章 贪婪的随机坐标下降法
    3.1 算法和收敛性分析
    3.2 迭代复杂性分析
    3.3 数值实验
        3.3.1 测试GRCD和 RCD算法求解非线性最小化问题
        3.3.2 测试GRCD和 RCD算法求解凸二次优化问题
第四章 CD类算法在最小二乘问题中的应用
    4.1 贪婪的随机坐标下降法
    4.2 贪婪的块坐标下降法
    4.3 数值实验
        4.3.1 测试GRCD,GCD和 RCD算法求解最小二乘问题
        4.3.2 测试GBCD,GRCD和 GCD算法求解最小二乘问题
第五章 Kaczmarz算法与坐标下降法的关系
    5.1 贪婪的块Kaczmarz算法
    5.2 Kaczmarz算法与坐标下降法的关系
    5.3 数值实验
第六章 结论与展望
    6.1 主要结论
    6.2 研究展望
参考文献
在学期间的研究成果
致谢



本文编号：3871328