基于自动分词的企业文档搜索引擎设计与实现.pdf

西北工业大学
硕士学位论文
基于自动分词的企业文档搜索引擎设计与实现
姓名:陈海波
申请学位级别:硕士
专业:控制科学与工程
指导教师:张新家
20070301
摘要关键词:中文分词,搜索引擎,双向索弓随着计算机和网络的普及,越来越多的企业利用计算机对文档进行处理,在企业的运营过程中必然会产生大量的电子文档。如何在大量的电子文档中迅速而准确的检索出用户所需要的信息成为摆在人们面前的一大难题,为了解决这一问题本文设计了一个应用于企业文档检索的中英文文档搜索引擎系统。搜索引擎的设计涉及到中文分词、数据收集、索引组织、检索结果排序、用户行为分析等关键技术。从功能上看,搜索引擎主要由信息采集、索引、查询三部分构成。搜索引擎首先通过信息采集器采集文档数据,然后通过索引器对采集数据进行分析,并建立索引。检索器负责接受用户查询请求,通过索引找到所有相关文档,排序后返回给用户。首先,本文对中文搜索引擎的基础技术一中文分词技术进行了介绍,并对中文自动分词的实现方法进行了深入的研究。综合各种分词方法,实现了一种适用于企业文档检索的中文自动分词系统;同时本文对搜索引擎的关键技术:索引技术和检索模型进行了深入探讨,提出了一种可用于数据库存储的双向索引结构,有效降低了索引组织的复杂度,通过结合布尔逻辑模型和向量空间模型实现了对检索结果文档的排序。然后,在对通用阉饕娴慕峁购驮斫蟹治龅幕∩希岷掀笠滴档检索的特点,引入文件监控技术,提出了一个企业文档搜索引擎系统的架构。最后,采用开发工具,在肪持惺迪至苏飧銎笠滴牡邓阉饕妗
删緌缸叫腏枷出陀协胁咖惦伽,脚,删砌伽舶“髓瓯辴辒奁鰁呼禼蝕∞砌辩蚽轪ぴ.∞伽印锣衄∞趎琣每∞籫咖臝甜∞锄舶辧琲舀瓼,∞碈∞∞舯∞删ゞ琺姐皿∞∞痦蔞髍轪伽觯瑆蟚模瓼,雠袖∞皿琲弘百雓∞∞蓿琲肼忙衑∞∞朗船曲垂:鷗餬鷇甊印ぁ辴姐鷐黟趾∞.辧轪砍猳∞甿瑀∞,∞柚锄⑸玞尢餭謉掼謉:∞∞篽阰辒篒嚣钾订.,扌禝辠磗∞,瓵∞血甋:协甋协琣仃培.Ⅱ
学位论文作者签名:瑶蝉盘旦多学位论文作者签名:铪型垮玛曰年弓月日。月嵋日年弓月目学位论文知识产权声明书西北工业大学学位论文原创性声明本人完全了解学校有关保护知识产权的规定,即:研究生在校攻读学位期间论文工作的知识产权单位属于西北工业大学。学校有权保留并向国家有关部门或机构送交论文的复印件和电子版。本人允许论文被查阅和借阅。学校可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时本人保证,毕业后结合学位论文研究课题再撰写的文章一律注明作者单位为西北工业大学。保密论文待解密后适用本声明。指导教师签名:秉承学校严谨的学风和优良的科学道德,本人郑重声明:所呈交的学位论文,是本人在导师的指导下进行研究工作所取得的成果。尽我所知,除文中已经注明引用的内容和致谢的地方外,本论文不包含任何其他个人或集体已经公开发表或撰写过的研究成果,不包含本人或其他已申请学位或其他用途使用过的成果。对本文的研究做出重要贡献的个人和集体,均已在文中以明确方式表明。本人学位论文与资料若有不实,愿意承担一切相关的法律责任。
第一章绪论选题背景及意义随着文字和纸张的发明,人们的日常行为、工作要依据有关的文件,有关的活动也可以记录下来形成文档。文档首先向读者提供及时准确的信息,起授权、指挥行动或记录、解释、通知和接受信息的作用:其次通过系统的组卷工作形成档案,起历史凭证、查考作用。随着现代企业制度的建立、企业规模的扩大、企业管理规范化、企业横向交流的加强,企业活动越来越依赖于文档,这就会产生越来越多的文档。随着计算机技术的发展,国内企业信息化进程的加快,利用计算机处理和管理文字信息资料己成为企业日常工作之必需,计算机系统已成为信息传播和存储的重要媒介。信息技术被广泛应用于各行各业,在企业中的重要性越来越大。办公自动化已进入了我们的日常工作,我们在日常工作中使用计算机进行文档处理的频率在加大。除了一些特殊岗位工作人员外,进入办公室工作的基本要求就是要熟悉文字处理软件;除一些专用的大规模业务逻辑处理服务器外,大部分的计算机都兼做文档处理机。政府部门和社会各行业都在积极创造条件,采用计算机技术提高工作效率,过去用纸与墨形成和传递纸质文件可以用计算机和网络替代。同时基于计算机的业务处理系统在企业中广泛应用,比如银行交易系统、购物系统、低车龋庑┫低骋不岵罅康牡缱游牡担ǖ缱雍贤缱报表,电子公告等。因此出现了大量的电子文档。文档存在的最重要的意义就是供使用者查阅。然而,随着企业信息化的发展,特别是图形界面排版软件的使用、网络的普及、丰富多彩的桌面应用使文件的制作和复制的效率大大提高,文件的形式从纸质开始大面积向电子文