网络信息检索与搜素引擎系统开发.doc

网络信息检索与搜素引擎系统开发
2

———————————————————————————————— 作者：
———————————————————————————————— 日期：

个人收集 仅供参考学****勿做商业用途
?网络信息检索与搜素引擎系统开发?考试参考资料 Brilliance
搜索引擎：从互联网等信息源中以一定的策略采集所需信息，经加工处理(如对网页进展去重处理、抽取信息、索引、生成主题词标引、生成自动文摘、信息分类、对相似网页进展聚类等)，将用户感兴趣的内容按照一定的规那么排序后，以超链等形式提供应用户的系统。
搜索引擎主要包括信息采集、信息加工、信息检索与检索结果提供这几个局部
搜索引擎分类：目录索引式搜索引擎、自动式搜索引擎、元搜索引擎、分布式搜索引擎
自动搜索引擎：
利用Robot采集相关网页。在进信息加工后(如：分析页面内容;生成索引; 摘要;分类)，根据用户给出的查询项进展检索，并将检索结果按相关性排 序(可根据匹配程度、查询项出现的位置/频次、网页链接质量等)后返回 给用户。
•优点：自动采集，信息量大，更新较及时。
•缺点：检索时缺乏在语义层次上的深层分析。
•查准率查准率(precision)用来评价检索结果中有多少文档是和用户需求相关的。
查准率=检索结果中和查询相关的文档数÷检索结果中的文档总数×100%
•查全率查全率：文档库中所有相关文档中到底有多少被系统检索出来
查全率=检索结果中和查询相关的文档数÷文档库中所有和查询相关的文档数×100%
网络信息检索的未来：
案例检索
输入待解决问题的要求、初始条件及其他相关信息
根据问题要求及初始条件，从案例库中提取一组与当前问题相似的案例
从相似的案例中找出最接近当前问题的案例，通过对目标方案的修改来解决当前问题。
问题解决后，当前的解即可新的案例存入案例库中，以备后用
页面遍历算法
广度优先：先采集完同一层的网页，在采集下一层的网页。
深度优先：先沿一条路径采到叶节点，再从同层其他路径进展采集
网页信息抽取的大致流程
1、通过网络蜘蛛爬取页面，预处理后得到纯文本页面信息；
2、对页面进展预处理，去掉JavaScript、图片、Flash等无关内容；
3、找到对应的头部和尾部标志，并在其中抽取相应的内容；
4、将抽取到的属性信息存入数据表。
对Lucene Demo的测试
1、控制台方式
3

个人收集 仅供参考学****勿做商业用途
〔1〕建立索引。在控制台cmd方式下输入：““d:\