高维稀疏大数据中并行随机梯度下降算法研究

发布时间：2024-03-23 20:31

　　现代社会计算机网络高速发展,信息数据爆炸式增长,大数据的出现促进了推荐系统的发展,从而提高了人们的日常生活质量。在推荐系统中通常使用高维稀疏矩阵来量化不完全矩阵中用户与项目之间的关系。研究者们为了从高维稀疏矩阵中获取一些有用的信息,提出了多种大数据分析方法,其中隐特征分析已被证明能从高维稀疏矩阵中高效地获取和表示信息。基于隐特征分析的推荐系统通常采取随机梯度下降作为学习算法,而随机梯度下降作为一个序列算法,在处理大规模工业问题时具有相当大的时间开销和较低的可扩展性。为了解决以上问题,本文提出了一些新颖的并行策略,提高模型的收敛速率和计算效率。主要研究内容如下:(1)概述了隐特征分析方法在推荐系统中的应用,从理论上分析了随机梯度下降算法在并行时存在的问题,并研究分析了目前基于随机梯度下降的并行隐特征模型。(2)提出了动量结合并行随机梯度下降算法,该算法将动量效应加入随机梯度下降中,并通过新颖的数据分割策略实现算法并行化。在大规模工业数据集上进行实验,结果表明,算法能提高模型的收敛速度和计算效率。(3)提出了一种基于随机梯度下降的分层并行算法,该算法通过两个层次结构实现并行化,在大规模、稀...

【文章页数】：59 页

【学位级别】：硕士

【部分图文】：

图1-1隐特征模型的构造过程示意图

第1章绪论2（3）所生成的隐特征准确的表示了由HiDS矩阵的已知数据所描述的每个用户/项目的特征。因此LF模型不仅用于推荐系统，还可以进一步应用于许多后续的数据分析任务，如社区检测和聚类等。图1-1隐特征模型的构造过程示意图Fig.1-1Thesketchmapofconstru....

图1-2推荐系统算法分类Fig.1-2Classificationofrecommendationsystemalgorithms协同过滤算法是推荐领域应用最多的算法，与基于内容的推荐算法不同，协

第1章绪论3术研究的重要实验场景。经过多年的发展，我们将推荐系统算法分为基于内容推荐（Content-basedRecommendation）、协同过滤推荐（CollaborativeFilteringRecommendation）和混合推荐三种，如图1-2所示。基于内容推荐是需....

图2-1高维稀疏矩阵Fig.2-1High-dimensionalsparsematrix

第2章隐特征分析方法9之间的完整关系映射，因此在传统的稀疏矩阵中，这样的HiDS矩阵中包含了大量的缺失数据，而不是零。所以HiDS矩阵具有高维度和极度稀疏两大特性，其定义如下：定义2.1：给定一个目标矩阵R|U|×|I|来表示用户和项目之间的关系矩阵，U和I分别表示用户和项目的集....

图2-2隐特征分析原理示意图

第2章隐特征分析方法11,,(1)()(1),,,(1),2221(1)1,,,(1)11,(1),(1)111,,,,,argmin,,{1,2,...,}:12,SGDuiPQtttuiukuktukddtttuiPukQiktkkuktukttttukuiikPukikPQ....

本文编号：3936426