用C#2.0实现网络蜘蛛（WebSpider）.docx

用C#2.0实现网络蜘蛛（WebSpider）.docx用C#(WebSpider)2008-05-1409:00作者:银河使者出处:天极网责任编辑:dizzarz摘要:本文讨论了如何使用C#2・0实现抓取网络资源的网络蜘蛛。使用这个程序,可以通过一个入口网)j|C扫描整个互联网的网址,并将这些扫描到的网址所指向的网络资源下载到木地。然后可以利用其他的分析工具对这些网络资源做进一步地分析,如提取关键词、分类索引等。也可以将这些网络资源作为数据源來实现象Google一样的搜索引擎。关键词:C#,HtmL网络蜘蛛,、引言在最近几年,以Google为首的搜索引擎越來越引起人们的关注。山于在GoogleIII现之前,很多提供搜索服务的公司都是使用人工从网络上搜集信息,并将这共信息分类汇总后作为搜索引擎的数据源。如yahoo公司一开始就是通过数千人不停地从网上捜集供查询的信息。,但是随着互联网信息爆炸式地增长,通过人工的方式來搜集信息己经不可能满足网民对信息的需求了。然而,这一切随着Google的出现而得到了彻底改变。Google-反常规的做法,通过程序7P4地从网上不停地获取网络资源,然后通过一些智能算法分析这些被下载到木地的网络资源,最后将这些分析后的数据进行索引后就形成了一套完整的基木上不需要人T十预的搜索引幣。屮的所有信息,同时也节省、了大量的资金和时间成木。而这种搜索引擎最朿要的组成部分之」就是为搜索引擎提供数据源的网络蜘蛛。也就是说,实现网络蜘蛛是实现搜索引擎的第一步,也是最垂要的一步。二、上不停地下载网络资源。,,直到再没有可下的URL为止。下面是用程序实现网络蜘蛛的具体步骤。指定一个(或多个)入口网址,并将这个网址加入到下载队列中(这时下载队列中只有一个或多个入口网址)。负货下載网络资源的线程从下载队列屮取得一个或多个URL,并将这些URL所指向的网络资源下载到本地(在下载之前,一般应该判断一下这个URL是否已经被下载过,如果被下载过,则忽略这个URL)。,说明已经下载完了山入II网址所引出的所有网络资源。这时网络蜘蛛会提示下载完成,并停止下载。分析这些下载到本地的未分析过的网络资源(一般为html代码),并获得其中的URL(如标签中href属性的值)。将第3步获得的URL加入到下载队列中。并頂新执行第2步。三、实现数据的输入输出从实现网络蜘蛛的步骤屮我们可以看出,下载队列的读、写URL的操作一直贯穿于柴个系统屮。,但是各位读者要清楚地知道,在互联网上的URL可不是儿十个、儿百个这么少。而是以千力计的。这么多的URL显然不能保存在内存中的Queue对象中。因此,我们需要将它保存在容量更大的存储空间屮,这就是硕盘。木文采用了一个普通的文木文件來保存需要下载和分析的URL(这个文木文件也就是下载队列)。存储格式是每一行为一个URL。既然将URL都保存在了文本文件中,就需要对这个文木文件进行读写。因此,在本节实现了一个用于操作这个文本文件的FilelO类。在实现FilelO类之前,先來说一下要如何操作这个文本文件。既然要将这个文件作为队列使用,那么就需要对这个文件进行追加行和从文件开始部分读取数据操作。让我们首先來实现向文件屮追加行操作。实现代码如下:向文件屮追加行的实现代码〃这两个变量为类全局变量privateFileStreamfsw;privateStreamWritersw;//创建用于向文件屮追加行的文件流和Streamwriter对象publicvoidOpenWriteFile(stringfile){if((file))//如果文件不存在,(file).CIose();//以追加模式打开这个文件fsw=newFileStream(file,,,);//根据创建的FileStream对象來创建StreamWriter对象sw=newStreamWriter(fsw);}//关闭写文件流if(fsr!=null)();}//向文件中追加一行字符串publicvoidWriteLine(strings){(s);();//刷新写入缓冲区,使这一行对于读文件流可见}在实现上述的代码时要注意,在创建FileStream对象时,必须使用FileSha