2020年Python爬虫实战.doc

Python爬虫实战Python爬虫实战(1):爬取糗事百科段子大家好,前面入门已经说了那么多基础知识了,下面我们做几个实战项目来挑战一下吧。那么这次为大家带来,Python爬取糗事百科的小段子的例子。首先,糗事百科大家都听说过吧?糗友们发的搞笑的段子一抓一大把,这次我们尝试一下用爬虫把他们抓取下来。本篇目标,发布人,段子内容,点赞数。糗事百科是不需要登录的,所以也没必要用到Cookie,另外糗事百科有的段子是附图的,我们把图抓下来图片不便于显示,那么我们就尝试过滤掉有图的段子吧。好,现在我们尝试抓取一下糗事百科的热门段子吧,每按下一次回车我们显示一个段子。首先我们确定好页面的URL是,其中最后一个数字1代表页数,我们能够传入不同的值来获得某一页的段子内容。我们初步构建如下的代码来打印页面代码内容试试看,先构造最基本的页面抓取方式,看看会不会成功123456789101**********#-*-coding:utf-8-*-importurllibimporturllib2  page=1url='/page/'+str(page)try:    request=(url)    response=(request)    (),e:    ifhasattr(e,"code"):            ifhasattr(e,"reason"):        ,哦不,它竟然报错了,真是时运不济,命途多舛啊123line373,in_read_status raiseBadStatusLine(line):''好吧,应该是headers验证的问题,我们加上一个headers验证试试看吧,将代码修改如下1234567891011121314151617#-*-coding:utf-8-*-importurllibimporturllib2 page=1url='/page/'+str(page)user_agent='Mozilla/;;WindowsNT)'headers={'User-Agent':user_agent}try:    request=(url,headers=headers)    response=(request)    (),e:    ifhasattr(e,"code"):            ifhasattr(e,"reason"):        ,这次运行终于正常了,打印出了第一页的HTML代码,大家能够运行下代码试试看。在这里运行结果太长就不贴了。好,获取了HTML代码之后,我们开始分析怎样获取某一页的所有段子。首先我们审查元素看一下,按浏览器的F12,截图如下我们能够看到,每一个段子都是<divclass=”article block untaggedmb15″id=”…”>…</div>包裹的内容。现在我们想获取发布人,发布日期,段子内容,以及点赞的个数。不过另外注意的是,段子有些是带图片的,如果我们想在控制台显示图片是不现实的,所以我们直接把带有图片的段子给它剔除掉,只保存仅含文本的段子。所以我们加入如下正则表达式来匹配一下,用到的方法是是找寻所有匹配的内容。方法的用法详情能够看前面说的正则表达式的介绍。好,我们的正则表达式匹配语句书写如下,在原来的基础上追加如下代码123456content=().decode('utf-8')pattern=pile('<div.*?class="author.*?>.*?<a.*?</a>.*?<a.*?>(.*?)</a>.*?<div.*?class'+                     '="content".*?title="(.*?)">(.*?)</div>(.*?)<divclass="stats.*?class="number">(.*?)</i>',)items=(pattern,content)foriteminitems:    printitem[0],item[1],item[2],item[3],item[4]现在正则表达式在这里稍作说明1).*?是一个固定的搭配,.和*代表能够匹配任意无限多个