基于爬虫的银杏信息整合分析系统.doc

基于爬虫的银杏信息整合分析系统
摘要:基于网络的银杏信息整合分析系统旨在让银杏研究和普及更加方便快捷,从而带动对银杏这一隐藏的宝库的全民探索。本系统是利用python语言实现网页抓取和信息筛选的,可以按照选择的关键词在某网站部不允许普通爬虫的,往往需要一些关键词段,例如登陆注册信息,这时就需要模拟用户的行为,而在Python中提供了Re-quests等第三方包,可以比较容易地实现网站的爬取。
开发软件PyCharm
PyCharm是一种基于python语言的开发工具,并附带有丰富的库。PyCharm主要功能:
1)代码自动补全:提供了代码补全功能,支持代码折叠和分割窗口的智能化操作,可配置的编辑器,可帮助用户更快更轻松地完成编程工作。
2)项目代码导航:可以帮助用户在一个文件中通过导航进入另一个文件中的对应函数,从一个方法可以跳至申明处或穿过类的层次。
3)代码检测:根据用户的输入自动检测语法错误,包括变量申明、类型、作用域等问题,还包括检测前推,后退和移动重构的功能。
4)支持Django:PyCharm有自带的css、html和JacaScript编辑器,使得用户可以更方便地使用Django框架。 5)支持诸多引擎:用户可以使用多种引擎进行css、html和JacaScript文件的調试,包括360极速、IE、火狐、Google等浏览器。
4 系统功能需求分析
系统需求分析是一个系统的开端,它规定了系统需要完成什么功能,完成至什么程度,如何完成此功能以及需要注意的问题,用户操作需要哪些细节考虑。
基于爬虫的银杏信息整合分析系统的客户功能模块需要的是一个人性化、操作方便且数据质量高的网站。此系统要求将网络中各大网站的银杏树相关信息提取在个人网页中,其中两部分最为重要,一是显示在页面上数据的质量,二是页面的美化和人性化。按照页面划分,系统可分为welcome页面和主页面;按照功能模块划分,主页面可分为三个模块,分别是导航栏模块、研究专题模块和银杏公园模块。
welcome页面功能需求分析
Welcome页面:作为网站给用户的第一印象,需要足够美观且简约,并能提供图片预览操作,以及相应的图片切换操作,页面下方安排一处链接,点击跳转到主页面,也就是主要信息的放置页面。如图1。
主页面导航栏功能需求分析
主页面是整个系统的核心页面,是主要数据的放置处。页面包含了三个板块。将主页分为多个板块,目的是使整个网站的外观更加美观,页面更加简洁清楚。
第一版块为导航栏,分为“首页”“最新研究”“银杏图库”“下载专区”“关于网站”五个栏目。
点击“首页”按钮,将会跳转至welcome页面。
点击“最新研究”按钮,将会在主页显示栏展示爬取的最新研究信息。
点击“银杏图库”按钮,将会在主页显示栏展示爬取的银杏相关图片,带有切换图片功能和下载图片功能。
点击“下载专区”按钮,将会提供“最新研究下载”,“最新报道下载”,“图片下载”和“研究专题下载”四个图形按钮,用户点击则下载对应的文件至本地。
点击“关于网站”按钮,则显示一个静态页面,包含网站的来源,名称,作者,指导和联系方式。