基于元搜索引擎的排序算法研究

    在大数据时代,大量信息涌现在用户面前,人们大多通过网络获取信息。而搜索引擎的出现则是在互联网与用户之间搭起了一座桥梁,帮助用户获取信息。但是,单一的搜索引擎因为低精度、低召回率等原因导致用户的满意度较低。因此,调用多个成员搜索引擎的元搜索引擎被提出,有助于扩大信息检索的覆盖面,提升召回率。元搜索引擎最关键的技术在于对结果的合成和重新排序,排序结果的好坏将直接影响整个元搜索引擎的性能。现在的元搜索引擎很少关注网页信息的质量以及网页正文的内容和信息量。本文通过对网页信息质量进行评估,进一步考虑网页正文关键词信息对搜索结果进行重新排序,本文的主要工作有:(1)本文提出了一种基于网页信息质量评价模型的排序算法。针对现有搜索引擎很少关注网页信息质量的问题,本文基于网页的标题、网页的摘要、网页的来源计算出网页信息质量的评分。根据网页信息质量的评分对网页进行重新排序。本文通过实验,验证了基于网页信息质量评价算法的元搜索引擎提升了搜索精度,并且用户的满意度也明显优于现有的搜索引擎。(2)本文在第一个工作的基础上进一步提出了融合网页正文关键词信息评价模型的排序算法。针对现有搜索引擎只返回大量相关主题页面,并不评价网页正文内容的问题,对于信息类查询本文首先通过网页正文抽取算法抓取网页正文部分内容。再通过正文关键词提取算法获得网页正文的关键词以及权重。最后通过网页正文关键词信息评价算法计算出网页正文内容评价得分。根据得分进一步优化元搜索引擎的排序。经过实验验证,该方法对于尖端网页的排序更加合理,平均查准率高达94%。(3)本文基于提出的元搜索引擎的重排序算法设计并实现了原型系统。对元搜索引擎系统的流程和整体框架进行了说明,对系统界面进行了展示。本系统通过一个友好简洁的界面与用户进行交互,帮助用户在更短的时间获取更多有效的信息,并且提供相关搜索与当下搜索热点推荐,以提升用户的满意度。

 

【学位级别】：硕士

 

页数：58

 

文章目录

 

摘要

abstract

第一章 绪论

    1.1 研究背景及意义

    1.2 研究现状

    1.3 本文研究内容

    1.4 本文组织结构

第二章 元搜索引擎相关理论技术研究

    2.1 搜索引擎概述

        2.1.1 搜索引擎的发展

        2.1.2 搜索引擎的技术架构

        2.1.3 搜索引擎存在的问题

    2.2 元搜索引擎概述

        2.2.1 元搜索引擎的原理

        2.2.2 元搜索引擎的分类

        2.2.3 元搜索引擎和搜索引擎的区别

    2.3 搜索质量评价技术

        2.3.1 Cranfield评价体系

        2.3.2 评价指标

    2.4 本章小结

第三章 基于网页信息质量评价模型的排序算法

    3.1 网页信息质量评价模型

        3.1.1 相关定义

        3.1.2 网页信息质量评价框架

    3.2 基于网页信息质量评价模型的排序算法

        3.2.1 数据清洗预处理

        3.2.2 指标计算方法

        3.2.3 网页信息质量评价算法

    3.3 实验和分析

        3.3.1 实验数据和评价标准

        3.3.2 权重确定

        3.3.3 实验设计与实验结果

        3.3.4 实验分析

    3.4 本章小结

第四章 融合网页正文关键词信息评价模型的排序算法

    4.1 网页正文关键词信息评价模型

        4.1.1 相关定义

        4.1.2 方法框架

    4.2 融合网页正文关键词信息评价模型的排序算法

        4.2.1 网页正文的获取方法

        4.2.2 动态页面正文抽取

        4.2.3 正文关键词提取算法

        4.2.4 网页正文关键词信息评价算法

    4.3 实验和分析

        4.3.1 实验数据和评价标准

        4.3.2 实验设计与实验结果

        4.3.3 实验分析

    4.4 本章小结

第五章 原型系统设计与实现

    5.1 系统开发环境

    5.2 系统流程

    5.3 相关技术

        5.3.1 网络爬虫技术

        5.3.2 分词技术

        5.3.3 服务器端动态网页开发技术

    5.4 系统整体框架

        5.4.1 用户接口模块

        5.4.2 检索请求模块

        5.4.3 成员搜索引擎调度模块

        5.4.4 结果处理模块

    5.5 系统功能与展示

        5.5.1 数据集成功能

        5.5.2 信息查询与推荐功能

        5.5.3 系统界面

        5.5.4 查询结果展示

    5.6 本章小结

第六章 工作总结与展望

    6.1 研究成果总结

    6.2 未来工作展望

参考文献

在学期间取得的科研成果和科研情况说明

致谢