基于Lucene的Web搜索引擎的研究.pdf

基于Lucene的Web搜索引擎的研究.pdf兰州理工大学硕士学位论文基于Lucene的Web搜索引擎的研究姓名:李建林申请学位级别:硕士专业:计算机应用技术指导教师:张永 20100420 硕士学位论文摘要随着网络信息量正不断地以指数规模增长,人类已步入信息爆炸时代。面对浩如烟海的网络信息,如何才能迅速、方便地获取有效信息, 日益成为人们关心的问题。搜索引擎的出现极大地缓解了这一矛盾。搜索引擎是一种应用在Web上的软件系统,它以一定的策略在互联网中进行搜集、发现信息,对信息进行理解、提取、组织和处理,并为用户提供检索服务,从而起到信息导航的目的。在当前网络信息的大环境里,网络上出现了很多商业性的Web搜索引擎,如Googl e、Bai du、Sougo等,他们极大地方便了网络用户。但由于他们的商业性质,其关键技术对于外界是保密的。为推进搜索引擎技术的发展,Apache基金会推出了一个开源的全文搜索引擎工具包Lucene。 Lucene可以方便地嵌入到各种应用中,实现针对具体应用的全文检索功能,近些年来在世界各地被广泛应用。本文在现有搜索引擎理论的基础上,以Lucene为基础,并结合XML数据存储的思想,从不同层次研究了以 Lucene为核心的搜索引擎的构建。本文的主要工作体现在以下三个方面: ,特别深刻地剖析了 Lucene的索引引擎机制和搜索引擎机制,并在此基础上设计了基于 Lucene的Web搜索引擎架构。 。相对于HTML,XML可以更好地实现Web中的信息共享与交换。本文提出了XML数据抽取模块的设计思想,采用XML文件存储准备被索引的文件,可以有效地提高建立索引的速度和减小存储索引的空间, 并能有效地提高数据挖掘的准确性。 ,忽略了网页本身的重要性的缺点,本文对Lucene排序算法进行了改进,改进后算法的最大特点是通过调整权重系数提高网页排名的合理性和查询的精确度。关键词:Lucene;XML数据抽取模块;排序算法优化;搜索引擎基于Lucene的Web搜索引擎的研究 Abstract With the amount of web information isincreasing inexponential rate, mankind has entered the era of information with a broad array work information,the people have increasingly concerns how to quickly and easily obtain the valid emergence of search engine greatly alleviates this engine is a web application software a certain degree of strategy in the ,search engine can collect,find information and understand,extract, organize,deal with information,and provide retrieval service,SO itplay an important role ofinformation navigation. In work environment,there are mercial web search engine in work,such as Google,Baidu,Sougo ete,which are convenient for web ,due to the nature oftheir business,the key technology for the outside world iskept advancing the development for search engine technology,Apache Foundation introduced a full—text open source search engine toolkit recent years,Lucene iswidely used around the world,which can easily embed in a varie