个性化垂直搜索引擎关键技术研究.pdf

中国优秀硕士学位论文全文数据库 2011年 第S1期 信息科技辑
Chinese Master's Theses Full-text Database 2011, Information Science and Technology I138-1815-1
个性化垂直搜索引擎关键技术研究

潘守慧
学位授予单位: 山东科技大学; 学科专业: 计算机软件与理论

摘 要

随着 Internet 的快速发展,Web 上的信息量越来越大,为了帮助人们在浩如烟海的互联网中查找信息,搜索
引擎应运而生并得到了快速发展。然而,由于人们对信息的需求越来越专业化、精确化和个性化,Google 等
通用搜索引擎暴露出诸多问题。如何让用户方便、快捷地找到自己需要的信息,成为一个亟待解决的问题。
个性化的垂直搜索引擎能有效地解决了上述问题,正成为人们从互联网上查找信息的一个重要工具。
本文首先介绍了搜索引擎的发展历史、垂直搜索和个性化信息服务的研究现状,接着深入探讨了构建搜
索引擎的核心技术,包括网页抓取技术、信息抽取技术、中文分词和索引技术等。然后又通过与通用搜索引
擎进行对比,简要介绍了构造垂直搜索引擎需要注意的问题。
本文在分析垂直搜索特点和研究其关键技术的基础上,主要做了以下工作:
(1)提出了一种构建个性化用户兴趣模型的方法。在构建个性化用户兴趣模型的过程中,利用用户兴趣
树表示用户兴趣,从用户的日常浏览行为中不断挖掘用户兴趣,并给出了用户兴趣模型的表示和更新机制。
(2)提出了一种改进的基于 VSM 的垂直搜索检索模型。本文在传统的基于 VSM 的检索模型的基础上,
根据垂直搜索的特点,探讨适合垂直搜索引擎的排序算法,并提出了一种改进的基于 VSM 的垂直搜索检索模
型及其性能评测方法。经实验验证,该方法具有较高的查准率和查全率。
(3)设计并实现一个用于抓取工作职位信息的网络爬虫系统 JobSpider。在本文最后,通过引入一个关于
工作职位搜索的实例项目,给出了其基于 Agent 的系统模型的基本架构,设计并实现一个用于抓取职位信息
的网络爬虫系统 JobSpider。经实验验证,该爬虫系统的具有较好的性能。

关键词：垂直搜索引擎;;向量空间模型;;用户兴趣模型;;网络爬虫

中图分类号：

Abstract

With the rapid development of internet, resourc