Scrapy爬虫库快速入门

使用Item

我们爬取数据肯定不是为了打印出来看一下就算了，而是想要保存数据，一般来说，Spider爬取到数据之后通过items返回，还记得我们之前定义的items么，这时候就可以派上用场了。

写出完整代码：

import scrapy
from jianshu2.items import Jianshu2Item
class postSpider(scrapy.spiders.Spider):
    name = 'post'
    start_urls = ['http://www.jianshu.com']
    def parse(self, response):
        articles = response.xpath('//ul[@class="article-list thumbnails"]/li')
        for article in articles:
            url = article.xpath('div/h4/a/@href').extract()
            likeNum = article.xpath('div/div/span[2]/text()').extract()




    
            item = Jianshu2Item()
            item['url'] = 'http://www.jianshu.com/'+url[0]
            if likeNum == []:
                #print(url,likeNum)
                item['likeNum'] = 0
            else:
                #print(url,int(likeNum[0].split(' ')[-1]))
                item['likeNum'] = int(likeNum[0].split(' ')[-1])
            yield item

执行 scrapy crawl post -o items.json就把数据保存到json中了。 yield 语句提交item。

注意打赏有可能没有，所以span也没有，这里判断一下。

数据如下：

[
{"url": "http://www.jianshu.com//p/6d7bf7d611aa", "likeNum": 1},
{"url": "http://www.jianshu.com//p/e47d86ce78d4", "likeNum": 0},
{"url": "http://www.jianshu.com//p/e69606806d6c", "likeNum": 0},
{"url": "http://www.jianshu.com//p/d7159874c59c", "likeNum": 2},
{"url": "http://www.jianshu.com//p/d38e8074ae94", "likeNum": 0},
{"url": "http://www.jianshu.com//p/6c8a0d0447cd", "likeNum": 0},




    
{"url": "http://www.jianshu.com//p/beff4ff80b25", "likeNum": 0},
{"url": "http://www.jianshu.com//p/d7e626cf02d7", "likeNum": 0},
{"url": "http://www.jianshu.com//p/524b13db9ce3", "likeNum": 1},
{"url": "http://www.jianshu.com//p/39449bcf9c28", "likeNum": 0},
{"url": "http://www.jianshu.com//p/970412b3c34d", "likeNum": 0},
{"url": "http://www.jianshu.com//p/2f98170f6eda", "likeNum": 1},
{"url": "http://www.jianshu.com//p/e91ab8e7a517", "likeNum": 0},
{"url": "http://www.jianshu.com//p/59a6caf3d965", "likeNum": 1},
{"url": "http://www.jianshu.com//p/ee5432e57dd3", "likeNum": 0},
{"url": "http://www.jianshu.com//p/00b7662bd335", "likeNum": 0},
{"url": "http://www.jianshu.com//p/1815b4071362", "likeNum": 1},
{"url": "http://www.jianshu.com//p/b00f7a2f0295", "likeNum": 0},
{"url": "http://www.jianshu.com//p/7f5fc5a01b75", "likeNum": 0},




    
{"url": "http://www.jianshu.com//p/84c10f2cf100", "likeNum": 0}
]

我们想将数据直接存在CSV这样的文件中怎么办呢？方法就是使用Feed exports，在settings.py文件中添加：

FEED_URI=u'D:\Python27\jianshu2\jianshu2\spiders\data.csv'
FEED_FORMAT='CSV'

第一次运行 scrapy crawl post -o data.csv，然后后面不用加-o data.csv，即可输出到data.csv中。

获取打赏描述

我们已经获得了url和打赏数，这已经是一个巨大的进步了。

然而我们还需要根据这个url再进一步爬到文章里面去，并且我们希望在一个爬虫里面就解决了，不想搞很多爬虫。

这时候问题转化为： 如何爬取需要的属性在不同页面的items？

这时候我们加一个属性'quote'，这个属性在打开url的页面中。

这时候，看到http://scrapy-chs.readthedocs.io/zh_CN/latest/topics/request-response.html#passing-additional-data-to-callback-functions，仿照它的写法，通过meta传递item参数，即相当于

主函数先确定一些参数('url','likeNum')，剩下的交给另一个函数去做，然后另一个函数算出'quote'参数后把item还给主函数，主函数整合一下item，然后yield生成就好了。

部分代码：

request = Request(posturl,callback=self.parse_donate)
request.meta['item'] = item
yield request
...
def parse_donate(self, response):
        donate = response.xpath('//div[@class="support-author"]/p/text()').extract()
        item = response.meta['item']
        if len(str(donate)) == 0:
            item['quote'] = ""
        else:
            item['quote'] = str(donate[0].encode('utf-8'))




    
        return item

爬取多页

这时候我们发现爬的太少了，只有20篇。又看到首页下面有一个【点击查看更多】按钮，我们试着在代码中'按下'这个按钮，然后获取下面内容的url，递归调用parse即可添加更多的文章。

next_link = selector.xpath('//*[@id="list-container"]/div[@class="load-more"]/button/@data-url').extract()[0]
        if next_link:
            next_link = self.url + str(next_link)
            yield Request(next_link,callback=self.parse)

使用Pipeline

有了item之后，item会被传递给Item Pipeline，我们可以在pipelines.py中对item做一些操作，比如写到json文件中。

Item Pipeline的典型应用如下，更多见中文文档。

• 清洗HTML数据

• 验证item中的数据

• 查重或者丢弃

• 保存结果到文件(json,数据库,csv等）

于是我们编写pipelines.py如下，将item数据写入到json文件中：

import json
import codecs
class Jianshu2Pipeline(object):
    def __init__(self):
    self.file = codecs.open('items.json','wb','utf-8')
    def process_item(self, item, spider):
        line = json.dumps(dict(item)) + "\n"
        self.file.write(line.decode("unicode_escape"))
        return item




    

不得不用codecs来解决编码问题。Python在Windows下的编码真让人头疼。

这时候我们写道json中，其实url都可以去掉了，我们并不关心。

效果如下：

合并打赏描述，根据打赏数排序

修改pipelines.py文件，用一个全局的字典dict记录每种语句的打赏数之和，然后根据打赏数排序，写到新的csv文件中。

# -*- coding: utf-8 -*-
import json
import codecs
from operator import itemgetter
class Jianshu2Pipeline(object):
    def __init__(self):
        self.file = codecs.open('items.json','wb','utf-8')
        self.quote = {}
        self.filecsv = codecs.open('items.csv','w','utf-8')
    def process_item(self, item, spider):
        line = json.dumps(dict(item)) + "\n"
        self.file.write(line.decode("unicode_escape"))
        if item['quote'] in self.quote.keys():
            self.quote[item['quote']] += item['likeNum']
        else:
            self.quote[item['quote']] = item['likeNum']
        self.filecsv.seek(0)
        lis = sorted(self.quote.items(),key=itemgetter(1),reverse=True)
        for i in range(len(lis)):
            line2 = lis[i][0] + '\t' + str(lis[i][1]) + '\r\n'
            self.filecsv.write(line2.decode("utf-8"))
        return item

结语

由结果可以看出，第一条打赏数最多，不难理解，因为这句是默认的打赏描述，所以使用的基数很大，所以不能说明什么。由于数据量太少，只能爬6页，所以还不是很能说明问题。但是学习scrapy，了解scrapy的目的已经初步达到了，虽然还只是初步学习。但是找出统计上相对能够吸引人打赏的描述的目的还没有达到，需要加大数据量。

由结果还可以看出，其实打赏描述的个性化挺强的，很多都是个人信息。所以呢，还是要大数据。

查看源码点击进入我的Github: 本文源码

参考资料

• [1]Windows上Python3.5安装Scrapy(lxml)

• [2] [How to install LXML for Python 3 on 64-bit Windows](https://www.webucator.com/blog/2015/03/how-to-install-lxml-for- python-3-on-64-bit-windows/)

• [3] Python爬虫框架Scrapy快速入门

• [4] Scrapy中文文档

• [5] 本文应用目标

题图：pexels，CC0 授权。

点击阅读原文，查看更多 Python 教程和资源。