基于LDA的文本推荐算法的研究及在文献检索的应用

    伴随着IT和互联网的发展,人类所面临的网络信息正在呈现出爆炸式的增长。因此如何从大量的文本信息中屏蔽掉无用信息并获取目标信息,一直是研究自然语言处理问题的热点话题。目前在文本处理领域存在的一个基本问题在于如何量化描述文本的特征,而量化文本特征的优劣很大程度上是由文本相似度的计算直接决定,这也是聚类、推荐和基于内容等方法的基石。因此本文利用LDA主题模型来量化描述文本的特征,结合文本自身所蕴含的潜在主题信息来提高文本相似度计算的精度,并在图书馆文献检索领域开展基于LDA模型检索方法的应用研究。本文主要工作包括以下三个方面:第一、提出了一种基于LDA主题模型的文本相似度计算方法。该方法利用LDA模型为文本建模,利用MCMC中的Gibbs抽样方法,间接计算模型参数,挖掘出文本与主题的关系和主题与关键词的关系,从而得到文本关于主题的分布和主题关于关键字的分布,进而以参考主题的关键字权重分布来计算文本之间的相似度。这种计算方法为后面的推荐算法研究奠定基础。第二、将LDA模型引入推荐问题的处理,提出了基于LDA的文本推荐算法。其中使用本文提出的基于LDA的文本特征描述方法作为相似度计算的度量值,并将相似度最高的Top-N作为推荐结果返回,提高了文本推荐质量。第三、将基于LDA的文本推荐算法应用于图书馆文献检索系统,该系统具有高内聚低耦合的特点。系统采用事件驱动基于Listener-Runner架构,使检索系统具有异步处理性等特点。

【关键词】：
【学位授予单位】：辽宁大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP391.1
【部分图文】：

图 2-1 LDA 概率模型图 模型时一种典型的贝叶斯网络(有向图)。在 LDA 模型中特征词组成的分层结构，其中潜在主题服从狄利克雷分布。其中 参数 、 定义了 LDA 模型中的文本集层。随机A 模型中的文本层。特征词 参数 、z[3]描述了文本集中特系统 化推荐系统是为用户....

图 4-4 检索功能模块用例图书分类管理模块图书分类按树形 的方式显示。可以增加分类或删除分类，还图 4-5图书 分类 管理模块用例图所示。图 4-5 图书分类管理模块用例图阅管理模块书管理

第 4 章 系统需求分析及设计(3)系统的体系结构由于用户范围和业务量较少，只在信息中心设立一个中心服务器 集中处理数据。系统网络拓扑图 如图 4-3 所示，有一台内网的数据库服务器不可以在网络上直接访问，只有 WEB服 务器才可以被外网访问。而且在 WEB服 务器和互联网之间设....