基于Word2Vec模型特征扩展的Web搜索结果聚类性能的改进

发布时间：2024-03-05 03:57

　　对于用户泛化和模糊的查询,将Web搜索引擎返回的列表内容聚类处理,便于用户有效查找感兴趣的内容。由于返回的列表由称为片段(snippet)的短文本组成,而传统的单词频率-逆文档频率(TF-IDF)特征选择模型不能适用于稀疏的短文本,使得聚类性能下降。一个有效的方法就是通过一个外部的知识库对短文本进行扩展。受到基于神经网络词表示方法的启发,提出了通过词嵌入技术的Word2Vec模型对短文本扩展,即采用Word2Vec模型的TopN个最相似的单词用于对片段(snippet)的扩展,扩展文档使得TF-IDF模型特征选择得到聚类性能的提高。同时考虑到通用性单词造成的噪声引入,对扩展文档的TF-IDF矩阵进行了词频权重修正。实验在两个公开数据集ODP239和SearchSnippets上完成,将所提方法和纯snippet无扩展的方法、基于Wordnet的特征扩展方法和基于Wikipedia的特征扩展方法进行了对比。实验结果表明,所提方法在聚类性能方面优于对比方法。

【文章页数】：6 页

【文章目录】：
0 引言
1 相关工作
2 Word2Vec模型描述
3 通过Word2Vec对snippet的扩展
    3.1 TopN扩展
    3.2 基于词频的权重修正
    3.3 处理流程
4 实验与结果分析
    4.1 数据集
    4.2 评价指标
    4.3 实验策略
    4.4 TopN的确定
    4.5 聚类算法确定
    4.6 结果分析
5 结语



本文编号：3919644