机器学习中的稀疏算法和非凸优化问题研究
发布时间：2024-02-27 17:15
随着数据采集和存储技术的进步,金融、医学、网络等领域每天都产生着大量的数据,如何设计快速有效的算法从中挖掘出有价值的信息,成为大数据处理中迫切需要解决的问题.稀疏学习是处理大数据的重要方法.针对数据量较多的大样本数据,已有的基于核学习的算法需要利用所有样本计算核矩阵,且模型的解缺乏稀疏性,这无疑导致较大的内存和时间消耗,使算法难以处理大数据.对于高维大数据,特征中存在着冗余特征,已有的基于随机投影的特征稀疏方法快速且有效,然而由于稀疏随机投影矩阵生成方式的完全随机性,导致矩阵中非零元在列中分布不均,进而导致降维后更多的数据信息丢失.此外,机器学习中存在着很多非凸优化模型,如何为模型设计高效的算法来快速寻找到“全局”最优解是另一个值得研究的课题.本文围绕大数据的稀疏学习算法和机器学习中的非凸优化问题进行研究,主要包括下面几部分内容:(1)为了解决鲁棒最小二乘支持向量机(R-LSSVM)的解不具有稀疏性,难以处理大数据的问题,提出了稀疏R-LSSVM算法(SR-LSSVM).首先从重新加权的角度解释了R-LSSVM具有鲁棒性的原因.然后,利用表示定理得到了基于原空间的R-LSSVM模型,新...
【文章页数】：141 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
符号对照表
缩略语对照表
第一章 绪论
1.1 研究背景和意义
1.2 研究现状
1.2.1 基于核学习的样本稀疏算法
1.2.2 随机投影特征提取方法
1.2.3 非凸优化
1.3 研究目标
1.4 本文的研究内容与结构安排
第二章 鲁棒最小二乘支持向量机的稀疏算法
2.1 引言
2.2 鲁棒LSSVM模型和现有算法
2.2.1 鲁棒LSSVM模型
2.2.2 求解R-LSSVM模型的现有算法
2.3 稀疏R-LSSVM算法
2.3.1 原空间R-LSSVM
2.3.2 重新加权角度解释R-LSSVM的鲁棒性
2.3.3 原空间R-LSSVM的DC分解
2.3.4 原空间R-LSSVM的稀疏解
2.3.5 稀疏R-LSSVM算法
2.3.6 收敛性分析
2.4 数值实验和讨论
2.4.1 分类实验
2.4.2 回归实验
2.5 总结
2.6 附录
2.6.1 减少Pro CRC的计算复杂度方法
第三章 基于不完全Cholesky分解的快速核c-均值聚类
3.1 引言
3.2 相关工作
3.3 研究背景
3.3.1 核c-均值聚类
3.3.2 不完全Cholesky分解
3.4 不完全Cholesky分解的收敛性
3.5 基于不完全Cholesky分解的核c-均值聚类
3.6 实验
3.6.1 人工合成数据集实验
3.6.2 真实数据集实验
3.7 结论
第四章 基于DC规划的快速核模糊c-均值聚类算法
4.1 引言
4.2 KFCM模型及已有算法
4.3 基于DCA的KFCM算法
4.3.1 第一种基于DC分解的KFCM算法
4.3.2 第二种基于DC分解的KFCM算法
4.3.3 KFCM2-DCA的近似方法
4.3.4 算法比较
4.3.5 初始点选择策略
4.4 实验及结论
4.5 总结
第五章 基于随机方差缩减梯度及逐步优化算法的非凸优化问题求解
5.1 引言
5.2 符号和定义
5.2.1 符号说明
5.2.2 定义
5.3 基于SVRG的逐步优化算法
5.3.1 vt的方差
5.3.2 收敛性和复杂度分析
5.3.3 与Grad Opt算法对比
5.4 基于Prox-SVRG的逐步优化算法
5.5 算法推广
5.6 数值实验
5.6.1 敏感性分析
5.6.2 算法性能对比
5.7 总结
第六章 稳定稀疏子空间嵌入
6.1 引言
6.2 基础知识
6.2.1 符号和线性代数
6.2.2 子空间嵌入矩阵
6.3 稀疏嵌入
6.4 稳定稀疏子空间嵌入
6.5 S-SSE的性质
6.5.1 矩阵的稳定性
6.5.2 欧氏距离的保持性
6.6 实验
6.6.1 降维后数据的可分性比较
6.6.2 欧几里得距离保持性比较
6.6.3 c-均值聚类
6.7 总结
第七章 结论与展望
7.1 全文工作总结
7.2 未来工作展望
参考文献
致谢
作者简介
本文编号：3912711
【文章页数】：141 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
符号对照表
缩略语对照表
第一章 绪论
1.1 研究背景和意义
1.2 研究现状
1.2.1 基于核学习的样本稀疏算法
1.2.2 随机投影特征提取方法
1.2.3 非凸优化
1.3 研究目标
1.4 本文的研究内容与结构安排
第二章 鲁棒最小二乘支持向量机的稀疏算法
2.1 引言
2.2 鲁棒LSSVM模型和现有算法
2.2.1 鲁棒LSSVM模型
2.2.2 求解R-LSSVM模型的现有算法
2.3 稀疏R-LSSVM算法
2.3.1 原空间R-LSSVM
2.3.2 重新加权角度解释R-LSSVM的鲁棒性
2.3.3 原空间R-LSSVM的DC分解
2.3.4 原空间R-LSSVM的稀疏解
2.3.5 稀疏R-LSSVM算法
2.3.6 收敛性分析
2.4 数值实验和讨论
2.4.1 分类实验
2.4.2 回归实验
2.5 总结
2.6 附录
2.6.1 减少Pro CRC的计算复杂度方法
第三章 基于不完全Cholesky分解的快速核c-均值聚类
3.1 引言
3.2 相关工作
3.3 研究背景
3.3.1 核c-均值聚类
3.3.2 不完全Cholesky分解
3.4 不完全Cholesky分解的收敛性
3.5 基于不完全Cholesky分解的核c-均值聚类
3.6 实验
3.6.1 人工合成数据集实验
3.6.2 真实数据集实验
3.7 结论
第四章 基于DC规划的快速核模糊c-均值聚类算法
4.1 引言
4.2 KFCM模型及已有算法
4.3 基于DCA的KFCM算法
4.3.1 第一种基于DC分解的KFCM算法
4.3.2 第二种基于DC分解的KFCM算法
4.3.3 KFCM2-DCA的近似方法
4.3.4 算法比较
4.3.5 初始点选择策略
4.4 实验及结论
4.5 总结
第五章 基于随机方差缩减梯度及逐步优化算法的非凸优化问题求解
5.1 引言
5.2 符号和定义
5.2.1 符号说明
5.2.2 定义
5.3 基于SVRG的逐步优化算法
5.3.1 vt的方差
5.3.2 收敛性和复杂度分析
5.3.3 与Grad Opt算法对比
5.4 基于Prox-SVRG的逐步优化算法
5.5 算法推广
5.6 数值实验
5.6.1 敏感性分析
5.6.2 算法性能对比
5.7 总结
第六章 稳定稀疏子空间嵌入
6.1 引言
6.2 基础知识
6.2.1 符号和线性代数
6.2.2 子空间嵌入矩阵
6.3 稀疏嵌入
6.4 稳定稀疏子空间嵌入
6.5 S-SSE的性质
6.5.1 矩阵的稳定性
6.5.2 欧氏距离的保持性
6.6 实验
6.6.1 降维后数据的可分性比较
6.6.2 欧几里得距离保持性比较
6.6.3 c-均值聚类
6.7 总结
第七章 结论与展望
7.1 全文工作总结
7.2 未来工作展望
参考文献
致谢
作者简介
本文编号：3912711
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3912711.html