网络搜索引擎的研究与实现.doc

学校代码：10254
密级：
论文编号：
上海海事大学
SHANGHAI MARITIME UNIVERSITY
硕士学位论文
MASTER DISSERTATION
网络搜索引擎的研究和实现
论文题目：
学科专业： 计算机应用技术
作者姓名： 张东振
指导教师： 张明 教授
完成日期： 二〇一〇年五月
论文独创性声明
本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除了特别加以标注和致谢的地方外，不包含其他人或其他机构已经发表或撰写过的研究成果。其他同志对本研究的启发和所做的贡献均已在论文中作了明确的声明并表示了谢意。
作者签名： 日期：
论文使用授权声明
本人同意上海海事大学有关保留、使用学位论文的规定，即：学校有权保留送交论文复印件，允许论文被查阅和借阅；学校可以上网公布论文的全部或部分内容，也可以采用影印、缩印或者其他复印手段保留论文。保密的论文在解密后遵守此规定。
作者签名： 导师签名： 日期
摘 要
随着搜索经济的崛起，人们越来越关注全球各大搜索引擎的性能、技术和日流量。搜索引擎的使用已经深入到各个行业和普通网民的日常生活。搜索引擎经济的繁荣，又一次向人们展示了互联网所蕴含的巨大商机。今日的互联网信息每天以指数级别的速度增长，面对海量数据的处理和存储，集中式的搜索引擎显得无能为力，大到整个互联网的搜索，小到本地文件的查找，都离不开搜索引擎技术的支持。本文正是基于搜索引擎的普遍化，设计并实现了一个易扩展的分布式搜索引擎的框架结构，能够满足于不同的搜索方案。
本文从研究和设计实现的角度出发，对网络搜索引擎的相关理论和技术进行了详细的分析和讨论，以实现一个可分布式采集和查询，可以为某一行业以及相关软件系统提供网络数据索引和检索的功能系统为目的。
论文主要研究的内容如下：
论述目前搜索引擎的国内外发展现状、存在的问题以及发展趋势；分析了搜索引擎的工作原理以及各部分的主要功能；系统介绍了搜索引擎内核实现的原理和相关实现方法。
为了能高效、便捷地满足用户的信息需求，吸引用户访问。针对传统个性化技术的不足,提出基于语义的自适应网页推荐模式,采用语义本体和用户查询倾向机制构建自适应的语义用户模型,并采用语义质心聚类技术提高推荐的准确率。实验结果表明,与其他推荐方法相比该算法具有更高的推荐准确率和召回率。
在插件机制的基础上，设计实现了一个可扩展，并且可以进行分布式查询的搜索引擎体系结构。每一台索引机器负责特定域名信息的采集和索引，对于存储在不同机器上的网页数据可以进行并行检索。重点阐述了搜索系统框架的实现，不仅给出了系统各模块之间的关系，而且还分析了各个模块的实现原理和思想。
总体上，本文论述了基于插件机制的可分布式查询和采集的完整的搜索引擎的设计方法，并且改进了语义网页推荐模式。经验证，所实现的搜索引擎的架构体系具有良好的实用性。
关键词： 网络搜索引擎，网络蜘蛛，中文分词,分布式搜索，推荐系统
Abstract
With the economic rise of search，more people begin to concern the world's major search engine performance，technology and daily flow. The use of the search engine has extended to various industries and the daily lives of ordinary Internet users. The economic rise of search engines, to the people once again demonstrates the Internet by the tremendous business ,the information in the Internet is mounted up exponentially everyday, and in the face of massive data processing and storage，the traditional search engine appears to be powerless. They can't be run without the se