【硕士论文】垂直搜索引擎主题特征提取及相关度算法研究.pdf

摘要
搜索引擎是人们获取海量网络信息的首要工具,是网络研究和应用的关键内容。目
前随着畔⒌谋ㄔ龀ひ约靶畔⒍嘣;姆⒄梗焖儆行У鼗袢⌒枰5南喙匦
息变得越来越困难,综合性的搜索引擎已不能适应用户对信息检索的准确性要求,专业
化的、面向主题的垂直搜索引擎正成为研究的热点与发展趋势。
本文重点研究中文魈庑畔⒒袢∮爰焖骷际酰杓坪褪迪至艘桓鲆约扑慊
业技术文献信息采集为核心的垂直搜索引擎

论文分析了搜索引擎国内外目前的研究现状及发展趋势,探讨了专业搜索引擎目前
主要存在的问题及现行专业搜索引擎所采用的搜索策略存在的缺陷。针对中文分词中歧
义字段的切分问题,提出一种对中文句子进行分词预处理的方法,在预处理的基础上实
现了一种改进的算法,使分词系统在机械分词阶段具有比算法更好的效果。
针对垂直搜索引擎网络蜘蛛搜索路径的选择策略问题,提出了非贪婪的
.搜索策略,指引网络蜘蛛动态调整下载方向,优先下载可能包含有相关主
题内容的页面,有效地实现搜索引擎的专业化。在信息检索方面,提出了基于向量空间
模型的自适应分类算法对网页从内容和结构两方面进行相关性过滤。
论文提出了基于网页分块的爬行算法。解决了网页多主题的困难,并有效地去除了
网页中的噪音信息,使得网络爬行的启发信息能准确地被收集。提出了一种比较理想的
垂直搜索引擎设计方案,并实现了一个面向计算机主题的垂直搜索引擎系统。研
究并设计出了适合专业资源采集的分布式逑到峁埂
最后总结了面向计算机专业技术主题的垂直搜索引擎系统的研究和开发经验,并指
出了系统的应用前景以及下一步研究的方向。
关键词:垂直搜索引擎,主题特征提取,相关度,,挚橹
题爬行
瓸
疭,
瓺琯
痙.



.

, ,
.
,
.



, 猤—

,

.
,





.
,


猻.
,
,
琣
簐, , ,,
长安大学硕士学位论文
第一章绪论
课题研究的背景和意义
目前搜索引擎在总体上分为两个发展方向,一是保持通用性搜索引擎的综合性特
色,一般将通用性搜索引擎称为“水平型”搜索引擎,大部分的搜索引擎都属于“水平
型模堑乃阉鞣段Ш头癖冉先妫ú皇屎咸囟煊蛑魈庑缘男畔⑺阉鳎欢
向专题性搜索引擎方向发展,即所谓的“垂直型”搜索引擎。
虽然通用搜索引擎具有全面的检索能力,但在专业性知识的检索上往往力不从心,
而随着互联网信息的不断膨胀,这种搜索引擎越来越难以满足用户对信息准确性的要求
【6怪彼阉饕婷嫦蚰骋惶囟ㄗㄒ盗煊虻拇怪敝魈猓商峁└呒兜募焖鞣瘢
保证对此领域信息的收录更加齐全、更新速度更快。在提供专业信息方面有着综合性引
擎无法比拟的优势。
面向主题的垂直搜索引擎与通用搜索引擎存在如下差别:首先,通用搜索引擎面向
任何用户提供对任何信息的查询,而垂直搜索引擎则面向专业用户向他们提供对其所在
专业的信息检索:其次,通用搜索引擎对网络进行逐页的爬行,试图遍历整个6
垂直搜索引擎则采用一定的策略预测相关网页的位置,动态地调整网页爬行方向,使系
统尽可能的在与主题相关的网页集中的地方爬行,这将节约大量的网络资源。最后,通
用搜索引擎对硬件的需求过大,而垂直搜索引擎由于没有遍历整个谠剂舜罅康
网络资源,而且没有自己的大型索引数据库所以硬件需求也比较低。
垂直搜索引擎的研究现状
目前面向主题的网络信息搜索主要有两种技术】:
.谀谌莸乃阉
这类搜索方式是传统的信息检索技术的延伸。它的主要方式就是在搜索引擎内部建
立一个针对主题的词表,搜索引擎的爬行器根据其内设的词表对网上的信息进行索引。
各个不同的系统词表建设的复杂度也大不相同。现在这种词表的建设越来越多的引入了
知识表示的方法。基于本体论的搜索引擎开始出现。一个本体强调相关领
域的本质概念,同时也强调这些概念间的本质联系。以为基础建立的词表能更
好的显示一个领域主题中各个概念此阉飨低车募焖鞔之间的关系,能更好的表现
同时还作为文档统一注释的知识表示语言。一些学者也提出了概念空间的理论,用概念空间来实现语义索引。所谓概念空间是某个领域中一组抽象概念的集合,并且这组概念之间存在一定的语义上的关联。基于概念空间的文本检索系统也较好地解决了信息检索过程中的词汇不匹配问题以及信息、过载问题,大大提高了信息检索的效率和质量。.诹唇臃治龅乃阉世纪年代末期,国外信息检索界开始以DP投曰チM心拟。一些学者认为网页之间的链接指引关系同社会网络中的关系有相