中文专业搜索引擎优化策略研究.pdf

摘要
随着 Web 信息的急剧增长，使用户获得自己想要的信息资源变得越来
越困难。用户所获得的信息往往不准确、不及时。这需要我们对搜索引擎
做进一步研究。中文专业搜索引擎是搜索引擎发展的重要分支，它具有通
用搜索引擎所不具有的优势。本文对中文专业搜索引擎做了大量研究，主
要包含下面几个方面。
(1)对主题网络蜘蛛的搜索策略进行了研究 主题网络蜘蛛的搜索策略
是中文专业搜索引擎的核心技术，其搜索策略的好坏严重制约着整个搜索
引擎的性能。研究发现在众多搜索算法中 Best-First 算法非常适合针对某一
领域信息进行搜索，并且它的性能也是以往搜索算法中最优的。但是它本
身也存在着缺陷，具有很大的“贪婪性”，只能搜索到局部范围内的最优解，
无法得到全局范围内的最优解。故以 Best-First 算法为基础，提出了 BF-BF
算法，该算法能够解决 Best-First 算法的不足，在全局范围内找到最优解。
(2)对网页文档的分类与索引问题进行了研究 网页文档的分类通常采
用VSM模型。也就是将文档的内容表示成特征向量的形式。但是文档初始
特征向量的特征项之间很难保持独立性，并且所形成的向量往往维数过高，
增大了计算量，又没有实际意义。针对这种情况，提出了将文档的初始特
征向量进行概念归一化处理，处理以后所得到的文档概念特征向量既降低
了向量的维数，又保持了特征项之间的独立性。
(3)针对检索模块的优化问题做了研究 检索模块是搜索引擎和用户直
接交互的部分，它的优化问题直接关系到搜索引擎的受欢迎程度。为了提
高检索模块的性能提出了将系统知识库和用户信息库引入检索模块中，对
检索过程加以指导，这样可以大大增加用户检索的准确度。

关键词 主题网络蜘蛛；BF-BF算法；中文专业搜索引擎；信息检索；VSM
I
Abstract
Along with the web information suddenly growth, it becomes more and
more difficult that the users obtain the information that themselves wants to get.
The users often obtain the inaccurate and outdated that it needs
to do further study to the search engine. Chinese professional search engine is
the important branch to the search engine development, and it has the prominent
superiority which the general search engine does not have. So massive study had
been done on the Chinese professional search engine, mainly contains the
following aspects:
(1)Researching on the search strategy of topic web search strate-
gy of topic web spider is the core technology to chinese professional search
engine, its search strategy quality restricts the entire search engine performance
Studying it was found that the Best-First algorithm is very
suit to the search in specialized information, and its performance is the most
superior among several searche itself also has the flaw, this
algorithm i