网上新闻资源自动采集系统.docx

如果您需要使用本文档，请点击下载按钮下载!
如果您需要使用本文档，请点击下载按钮下载!
如果您需要使用本文档，请点击下载按钮下载!
毕业设计（论文）开题报告材料
1、
开 题 报 告
2、
文 献 综 述
3、
文 献 翻 译
综述本课题国内外研究动态，说明选题的依据和意义
随着互联网技术的迅猛发展，人们获取资讯的方式不再是仅仅从报纸或者电视。更多的人选择上网浏览或者是通过手机获取。相比前面的两种方式，后者更具及时性，而且信息量更大，传播范围更广。从而衍生了第五媒体的说法，这也带动了相当的周边产业的发展。而这些优点的体现同样需要一个强大的技术平台和相当数量的工作人员来支撑，本文将通过对资源采集系统的介绍，为构建这样一个低成本的信息共享平台提供建议。
新闻采集系统的现状
动态网页技术的出现彻底的改变了传统互联网的模式。它让站长可以更加轻松的更新站点的内容信息。同时也让网络的应用变得更加丰富。以动态网页技术实现的应用如雨后春笋般出现。新闻采集系统也在那个时期开始发展。
从最初的ASP版本到现在的多元化语言的版本，虽然架构一次次被更新，功能越来越完善，当然系统的设计目标始终都没有发生改变，实现资源的自动采集来减少人工录入所增加的成本。
如今，新闻采集系统技术已经非常成熟。市场的需求量也非常大。在百度中输入“新闻采集系统”可以搜到近393,000条信息，可见这一应用的广泛程度。
特别是一些新兴的站点，主要以广告盈利为目的，如果使用新闻采集系统那可以让站长不用去操心如何更新网站内容，一但架设好就几乎可以“一劳永逸”了。
项目提出的背景
通常对于新闻类专业或者大型的门户网站，都拥有自己的新闻渠道或者专门的采编人员，这往往需要很高的成本。新闻采集系统（手机应用版）用于在资源相对匮乏的情况下，使用程序的方式来进行远程抓取。在没有人工干预的情况下可以实现自动采集和资源的共享。一方面可以保证信息更及时更有效，另一方面可以提高工作效率和减轻编辑的负担。为企业提供可靠的信息来源和降低相当的成本。
主流系统的分析
如果您需要使用本文档，请点击下载按钮下载!
如果您需要使用本文档，请点击下载按钮下载!
如果您需要使用本文档，请点击下载按钮下载!
总的来说目前的新闻采集系统已经比较成熟，主流的新闻采集系统基本上可以实现以下功能：
对目标网站进行信息自动抓取，支持HTML页面内各种数据的采集，如文本信息，URL，数字，日期，图片等。
用户对每类信息自定义来源与分类
支持用户名与密码自动登录
支持记录唯一索引，避免相同信息重复入库
支持智能替换功能，可以将内容中嵌入的所有的无关部分如广告去除
支持多页面文章内容自动抽取与合并
支持下一页自动浏览功能
数据直接进入数据库而不是文件中，因此与利用这些数据的网站程序或者桌面程序之间没有任何耦合
支持数据库表结构完全自定义，充分利用现有系统
保证信息的完整性与准确性，绝不会出现乱码
支持各种主流数据库，如MSSQL、Access、MySQL、Oracle、DB2、Sybase等
讨论的范围
上面讨论的新闻采集系统与本文所讨论的略有不同，主要是我们的目标有些差别。传统的新闻采集系统都是基于WWW网站。采集的困难程度要略高与WAP网站。因为WWW网站页面内容相对复杂而且更加丰富，最重要的是它没有类似XML的约束性，网页源文件的格式内容可能会因为编写人员的疏忽存在很多错误，这将导致我们在抓取的时候可能会碰到很多解析问题，比如符号的丢失，不能匹配等等，对于采集系统最重要的是能够匹配到想要抓取的内容，如果不能解析网页的源代码不能建立完整的目录树，也就是结构不完整这将很可能造成我们在采集特定内容的时候出现偏差或者采集不成功。所以，对于采集WWW的网站不光需要采集程序的规则编写者有一定的判断力，而且要求网站的编写人员能够按照W3C规范来编写页面。但是，现在的情况是往往用户的浏览器能排除大量的错误，所以会给真正的开发人员一个错误的信号认为自己的页面没有问题，这时候我建议将页面提交到W3C的检验工具来进行检测，这是一个相对繁琐的步骤。WAP网站的优势这时候就体现出来了，因为它严格遵守这些规范，如果出现标记不能匹配或者是不能识别的标签时将会报错，这对于测试人员来说无疑是个好消息，这将大大的降低测试的成本，加快项目的建设。对于采集程序的开发者来说也绝对是个好消息，我们在编写规则的时候就无须考虑太多意外的情况，这为我们这个项目的提出也奠定了一定的基础。当然，随着手机上网的普及和3G网络的建成，越来越多的人已经开始****惯使用手机来获取信息，这已经成为一个趋势，可能在未来的什么时候电脑也将被手机所代替，无线网络最终将代替现有的电缆