下载此文档

林天宇用Python3学习编写网络爬虫(之一).doc


文档分类:IT计算机 | 页数:约18页 举报非法文档有奖
1/18
下载提示
  • 1.该资料是网友上传的,本站提供全文预览,预览什么样,下载就什么样。
  • 2.下载该文档所得收入归上传者、原创者。
  • 3.下载的文档,不会出现我们的网址水印。
1/18 下载此文档
文档列表 文档介绍
林天宇用Python3学****编写网络爬虫(之一:入门实践)作者:林天宇一、写在前面1、本文适应的读者范围会一点点Python的基本语法;已经安装好了Python3和PyCharm;网络爬虫新手2、本文所使用的开发环境Macpro/iOSPython3PyCharm3、本文不纠结以下内容为什么选择Python3而不是Python2?答:没什么特别原因,个人喜好。如何安装Pyhon3?请查阅其它文档。PyCharm是什么?为什么不用其它工具。一个常用的Python开发工具,个人喜欢,可参阅其它文档。如果你不喜欢,你也能够用其它工具编码和调试。二、快速开始东北人有句话说:能动手,尽量不瞎叨叨。少些废话,快速开干。1、新建项目和文件启动PyCharm,“CreateNewProject”。因为估计不需要到特别的框架,所以类型就默认地选择了“PurePython”,名字就起成了“WebSpider”(我瞎命名的,就是觉得Spider比较帅气而已),然后“Create”如下图:新建一个Python文件,命名为Spider001,毕竟也是我的第一只小爬虫嘛。OK,到当前为止,已经新建一个名字叫做Spider001的Python空白文件了。能够在项目等资源管理器中看到WebSpider项目下面,。。2、第一爬先写代码,感受一下效果,找找成就感,然后再详细分析和思考。代码如下:="a=(url).read()data=('UTF-8')print(data)然后,Run,,运行结果如下:由上图能够见,运行正常,而且已经将百度的HTML代码获取到了(见运行窗口的第二行HTML代码)。百度心想,我也不知道倒了什么霉,你们爬虫测试的HelloWorld都喜欢拿我测试,无谓增加我压力。那我们再回头来详细看看刚才的代码:##接着定义一个我们要爬取的变量叫url#然后将我们要爬去的网址字符串值赋给url#可怜的百度。url=""#定义一个data变量,用来获取爬过来的字符串#下面是urllib的吧啦吧啦的用法,没什么好解释的。#它就是这么用的,记住就好了。#其中url是变量。data=(url).read()#编码,改变编码。decode方法。data=('UTF-8')#print打印出来结果。print(data)#程序结束我们能够得出以下几点初学者的心得:用到一个urllib的库。Urllib库及其子库的用法,官方文档如下:其获取url其内容的方法为:(url地址).read()将字符串本身使用decode(‘编码类型’)的方法后,能够重新编码3、***!***!!都说美女是推动社会发展的重要因素,对美女的追求,也是推动我们宅男技术水平的重要因素。当年在学校机房里用486电脑DOS环境下,冒着被机房老师抓住的生命危险偷偷看舒淇的图片,确实对我当年的技术水平提升很大。第一爬的过程中,只爬了一串HTML源代码,似乎新鲜劲很快就过去了,真正我们要爬的,是美女图美女图啊!网站***站众多,我本想选择我最喜欢的BeautyLeg作为测试的网站,但是很遗憾,可能这个网站的服务器在其它地区,网络速度很慢,图片质量又高,所以每次运行时间都会比较长,不太适合我们前期作为边调试边学****用。所以暂时放弃,不过,美腿们,不要着急,我调试好后,再来爬去你们。不要着急,等我。在此情况下,我随便百度了一个“美女图库”网站。真是百度的,一点广告费都没给的,。这个网站也是典型的“三级”结构的网站。所谓“三级”结构(别想歪了),指的是:我们先从最简单的开始,先将目标定在基础,也就是最详细这一级的内容开始爬取。我们先点击网站链接,到达第三级的详细图(文)这一层网页。我们避开了需要登录和收费的会员专区的栏目,选择了“免费下载栏目”进入,具体的网址如下:首页::gxing/内容页:gxing/.html这个网站的内容页是一个图文格式的网页,这一页有一张***,我们从简单的开始,那我们就先将这一页的这张图片爬下来到本地硬盘吧。我们用鼠标在图片上点右键,获取这张图片的准确名称和地址为:http://img1./pic//,貌似这个网站的命名还是比较清晰易懂的,能找到规律。也就是说很可能是这个明星这个专辑的编号,然后每张图片从1开始依次编号命名。明星专辑的编号是,也很可能明星专辑的编号,也是从1开始依次编号的。(究竟是不是这样,会不会被打脸,后面测试了才知道。)老****惯,先上代码,看效果,找成就感。新建一个新的py文

林天宇用Python3学习编写网络爬虫(之一) 来自淘豆网www.taodocs.com转载请标明出处.

相关文档 更多>>
非法内容举报中心
文档信息
  • 页数18
  • 收藏数0 收藏
  • 顶次数0
  • 上传人业精于勤
  • 文件大小4.58 MB
  • 时间2020-02-23