林天宇用Python3学****编写网络爬虫(之一:入门实践)作者:林天宇一、写在前面1、本文适应的读者范围会一点点Python的基本语法;已经安装好了Python3和PyCharm;网络爬虫新手2、本文所使用的开发环境Macpro/iOSPython3PyCharm3、本文不纠结以下内容为什么选择Python3而不是Python2?答:没什么特别原因,个人喜好。如何安装Pyhon3?请查阅其它文档。PyCharm是什么?为什么不用其它工具。一个常用的Python开发工具,个人喜欢,可参阅其它文档。如果你不喜欢,你也能够用其它工具编码和调试。二、快速开始东北人有句话说:能动手,尽量不瞎叨叨。少些废话,快速开干。1、新建项目和文件启动PyCharm,“CreateNewProject”。因为估计不需要到特别的框架,所以类型就默认地选择了“PurePython”,名字就起成了“WebSpider”(我瞎命名的,就是觉得Spider比较帅气而已),然后“Create”如下图:新建一个Python文件,命名为Spider001,毕竟也是我的第一只小爬虫嘛。OK,到当前为止,已经新建一个名字叫做Spider001的Python空白文件了。能够在项目等资源管理器中看到WebSpider项目下面,。。2、第一爬先写代码,感受一下效果,找找成就感,然后再详细分析和思考。代码如下:="a=(url).read()data=('UTF-8')print(data)然后,Run,,运行结果如下:由上图能够见,运行正常,而且已经将百度的HTML代码获取到了(见运行窗口的第二行HTML代码)。百度心想,我也不知道倒了什么霉,你们爬虫测试的HelloWorld都喜欢拿我测试,无谓增加我压力。那我们再回头来详细看看刚才的代码:##接着定义一个我们要爬取的变量叫url#然后将我们要爬去的网址字符串值赋给url#可怜的百度。url=""#定义一个data变量,用来获取爬过来的字符串#下面是urllib的吧啦吧啦的用法,没什么好解释的。#它就是这么用的,记住就好了。#其中url是变量。data=(url).read()#编码,改变编码。decode方法。data=('UTF-8')#print打印出来结果。print(data)#程序结束我们能够得出以下几点初学者的心得:用到一个urllib的库。Urllib库及其子库的用法,官方文档如下:其获取url其内容的方法为:(url地址).read()将字符串本身使用decode(‘编码类型’)的方法后,能够重新编码3、***!***!!都说美女是推动社会发展的重要因素,对美女的追求,也是推动我们宅男技术水平的重要因素。当年在学校机房里用486电脑DOS环境下,冒着被机房老师抓住的生命危险偷偷看舒淇的图片,确实对我当年的技术水平提升很大。第一爬的过程中,只爬了一串HTML源代码,似乎新鲜劲很快就过去了,真正我们要爬的,是美女图美女图啊!网站***站众多,我本想选择我最喜欢的BeautyLeg作为测试的网站,但是很遗憾,可能这个网站的服务器在其它地区,网络速度很慢,图片质量又高,所以每次运行时间都会比较长,不太适合我们前期作为边调试边学****用。所以暂时放弃,不过,美腿们,不要着急,我调试好后,再来爬去你们。不要着急,等我。在此情况下,我随便百度了一个“美女图库”网站。真是百度的,一点广告费都没给的,。这个网站也是典型的“三级”结构的网站。所谓“三级”结构(别想歪了),指的是:我们先从最简单的开始,先将目标定在基础,也就是最详细这一级的内容开始爬取。我们先点击网站链接,到达第三级的详细图(文)这一层网页。我们避开了需要登录和收费的会员专区的栏目,选择了“免费下载栏目”进入,具体的网址如下:首页::gxing/内容页:gxing/.html这个网站的内容页是一个图文格式的网页,这一页有一张***,我们从简单的开始,那我们就先将这一页的这张图片爬下来到本地硬盘吧。我们用鼠标在图片上点右键,获取这张图片的准确名称和地址为:http://img1./pic//,貌似这个网站的命名还是比较清晰易懂的,能找到规律。也就是说很可能是这个明星这个专辑的编号,然后每张图片从1开始依次编号命名。明星专辑的编号是,也很可能明星专辑的编号,也是从1开始依次编号的。(究竟是不是这样,会不会被打脸,后面测试了才知道。)老****惯,先上代码,看效果,找成就感。新建一个新的py文
林天宇用Python3学习编写网络爬虫(之一) 来自淘豆网www.taodocs.com转载请标明出处.