垂直搜索引擎数据采集技术的分析与实现.docx

华北电力大学硕士学位论文
摘 要
垂直搜索引擎是针对通用搜索引擎的信息量大、查询不准确、深度不够等问题提出来的新的搜索引擎服务模式。本文在查阅了大量的国内外文献的基础上,对垂直搜索引擎的系统结构、工作原理、搜索策略、链接去重和网页更新等关键技术和主要算法进行了深入的学****和研究。重点讨论了垂直搜索引擎数据采集系统的搜索策略和主题相关性算法,并对链接去重和网页更新等算法进行了改进,在此基础
上对垂直搜索引擎进行了总体设计,设计实现了一个电子商务垂直搜索引擎的信息采集系统。实验结果表明,该系统具有较高的采集效率,采集的页面具有较好的主题相关度,达到了预期的设计目标。该系统具有较好的实用价值和应用前景。
关键词:垂直搜索引擎,主题爬虫,网络蜘蛛,PageRank
ABSTRACT
The vertical search engine is a new search service,aimed to solve the problems of too-massive data,low search accuracy and profundity mon search paper investigated a great deal of domestic and international documents,and deeply researched as well as the principle and critical technique of vertical search engine on system structure,working principle,search strategy,duplicated links deletion and page updating paper focuses on the search strategy and topic al the bases of improving the duplicated links deletion algorithms and page updating strategy,this paper overall design an merce vertical search engine,design
and implementation of a focused crawler of the search results show
that the system is efficiency,has better collection of the pages related to the topic,has achieved the anticipated system has good practical value and application
prospect.
Hai puter Science)
Directed by vice Ling
Key words:vertical search engine,focused crawler,web spider,PageRank
华北电力大学硕士学位论文
摘 要
垂直搜索引擎是针对通用搜索引擎的信息量大、查询不准确、深度不够等问题提出来的新的搜索引擎服务模式。本文在查阅了大量的国内外文献的基础上,对垂直搜索引擎的系统结构、工作原理、搜索策略、链接去重和网页更新等关键技术和主要算法进行了深入的学****和研究。重点讨论了垂直搜索引擎数据采集系统的搜索策略和主题相关性算法,并对链接去重和网页更新等算法进行了改进,在此基础
上对垂直搜索引擎进行了总体设计,设计实现了一个电子商务垂直搜索引擎的信息采集系统。实验结果表明,该系统具有较高的采集效率,采集的页面具有较好的主题相关度,达到了预期的设计目标。该系统具有较好的实用价值和应用前景。
关键词:垂直搜索引擎,主题爬虫,网络蜘蛛,PageRank
ABSTRACT
The vertical search engine is a new search service,aimed to solve the problems of too-massive data,low search accuracy and profundity mon search paper investigated a great deal of domestic and international documents,and deeply researched a