基于python的汽车信息爬取与分析.docx

二、《基于Python的汽车数据爬取与分析》1课题内容和要求问题的提出用Python语言自行编写爬虫框架或使用Scrapy框架,爬取汽车之家或易车网的车辆相关数据,按照品牌、车系、年款、价格等信息进行分类和显示。使用正则表达式从网页中提取有用的数据。可以实现多线程爬取,以提高爬取效率。在此基础上可以进一步获取用户反馈信息,评价不同车型的优劣。,信息正在扮演越来越重要的角色。人们获取信息,分析信息,利用信息。而怎样快速便捷地获取信息成为人们非常关注的问题。同时,随着中国工业化水平和经济水平的提高,汽车成为家庭必需品。人们对汽车信息的需求也在不断增大。在此背景下,我们选择了“基于python的汽车信息爬取与分析”这个课题,因为我们想要通过这次锻炼切实地解决一个现实问题。,用户计算机必须有Python环境和Scrapy环境。: Scrapy::::::::(:69c0db5,Mar212017,17:54:52)pyOpenSSL:()Platform:Windows-10--SP0开发工具Pycharm、 技术可行性:python在爬虫方面有资源和环境优势。易车网对爬虫脚本比较友好。 操作可行性:Scrapy作为一个非常强大的爬虫框架,有着它易用,高效的一面。同时由于Scrapy对于有python学****背景的人来说上手不算困难,故此项目可以用Scrapy来实现。 本系统最终将爬取到的数据以csv文件存储在本地项目根目录下,方便用户通过excel软件直接对数据进行查看和分析。,由于Scrapy默认支持多线程爬取,系统的性能基本可以达到要求。而稍后的测试结果也佐证了此结果。 基于scrapy,我们的项目分为4个模块,分别是定义爬取数据模块、爬取模块、配置模块和数据处理模块。 ,如品牌、车系、年款、价格等等。爬取模块会直接引用该类创建的对象对数据进行保存。,比如存储方式、过滤去重等操作。,并进行相关处理。,如优先级、多线程、延迟等。同时在测试时,我们可以根据修改此文件的配置信息来控制变量测试相关因素对爬取效率的影响。。分析网页,获取信息,跳转页面等等核心操作全部由此文件来实现。4详细设计 类图:核心算法流程图: ,。 具体实现采用面向过程的编程方