手把手：教你用Scrapy建立你自己的数据集（附视频）

用Python进行网页爬取

当我开始工作时，我很快意识到有时你必须收集、组织和清理数据。 本教程中，我们将收集一个名为FundRazr （https://fundrazr.com/） 的众筹网站的数据。像许多网站一样，该网站具有自己的结构、形式，并具有大量可访问的有用数据，但由于没有结构化的API，很难从站点获取数据。 因此，我们将爬取这个网站，获得非结构化的网站数据，并以有序的形式建立我们自己的数据集。

为了爬取网站，我们将使用Scrapy (https://scrapy.org/) 。简而言之，Scrapy是一个框架，可以更轻松地构建网络爬虫并降低护它们的难度。基本上，它可以让您更专注于使用CSS选择器进行数据提取，选取XPath表达式，而不必了解爬虫工作的具体细节。这篇博客文章略微超出Scrapy文档中官方教程 （https://doc.scrapy.org/en/latest/intro/tutorial.html） 的教学范畴，如果您需要更多地爬取某些东西，可以看着这篇文章自己做。 现在，让我们开始吧。如果您感到迷惑，可以在新标签页打开这个视频 （https://www.youtube.com/watch?v=O_j3OTXw2_E） 。

入门（先决条件）

如果您已经拥有anaconda和谷歌Chrome（或Firefox），请跳到 创建新的Scrapy项目。

1. 在您的操作系统上安装Anaconda（Python）。 您可以从官方网站下载anaconda，还可以自行安装，或者您可以按照下面的这些anaconda安装教程进行安装。

安装Anaconda

2.安装Scrapy（anaconda附带Scrapy，但以防万一）。 您还可以在终端（mac / linux）或命令行（windows）上安装。 您可以键入以下内容：

conda install -c conda-forge scrapy

3.确保您有Google Chrome或Firefox。 在本教程中，我使用的是Google Chrome。 如果您没有Google Chrome，可以使用此链接安装 （https://support.google.com/chrome/answer/95346?co=GENIE.Platform%3DDesktop&hl=en）

创建一个新的爬取项目

打开终端（mac / linux）或命令行（windows）。 进入所需的文件夹（如果需要帮助，请参阅下图）并键入

scrapy startproject fundrazr

scrape起始项目fundrazr

这就会生成一个含有如下内容的fundrazr目录：

fundrazr项目目录

使用Google Chrome浏览器（或Firefox）查找好起始URL

在爬虫框架中，start_urls是当没有指定特定网址时爬虫开始抓取的网址列表。我们将使用start_urls列表中的元素来获取单个筹款活动链接。

1.下面的图片显示，根据您选择的类别，您将获得不同的起始网址。 黑色突出显示的部分是我们此次爬取的分类。

找到一个很好的第一个start_url

对于本教程，列表start_urls中的第一个是： https://fundrazr.com/find?category=Health

2.这部分是关于获取更多的元素来放入start_urls列表。 我们需要找出如何去下一页，以便可以获得额外的url来放入start_urls。

第一幅图：在“Next”上点击鼠标右键（红色方框内）然后点击“Inspect”

第二幅图：蓝色高亮部分表示我们在我们的url后面加上了（如果我们想要另一页筹款活动：find?category=Health&page=2

（通过检查“下一步”按钮获取其他元素以放入start_urls列表）

第二个起始URL： https://fundrazr.com/find?category=Health&page=2

下面的代码将在本教程后面的代码中用于爬虫。 它的作用是创建一个start_urls列表。变量npages代表的是我们想从多少个额外的页面（在第一页之后）中获取筹款活动链接。

（根据网站的现有结构生成额外的起始URL代码）

查找单个筹款活动链接的Scrapy Shell

学习如何使用Scrapy提取数据的最佳方法是使用Scrapy shell。我们将使用可用于从HTML文档中选择元素的XPath。

我们所要做的第一件事是尝试获得提取单个筹款活动链接的xpath表达式。 首先，我们查看筹款活动的链接大致分布在HTML的哪个位置。

第一幅图：右键点击你看到的第一个筹款活动链接，然后点击“inspect”

第二幅图：这个文本（红色方框内）是单个活动筹款URL 一部分

（查找到单个筹款活动系列的链接）

我们将使用XPath来提取包含在下面的红色矩形中的部分。

被框住的部分是我们将单独拎出来的部分网址

在终端（mac / linux）中输入：

scrapy shell ‘https://fundrazr.com/find?category=Health'

命令行输入（windows）：

scrapy shell “https://fundrazr.com/find?category=Health”

输入以下内容到scrapy shell（以帮助了解代码，请参见视频）：

response.xpath("//h2[contains(@class, 'title headline-font')]/a[contains(@class, 'campaign-link')]//@href").extract()

随着时间的推移，随着网站的更新，您有可能会获得不同的URL

下面的代码是为了获取给定的初始URL所包含的所有活动链接（在First Spider部分会更详细地说明）

for href in response.xpath("//h2[contains(@class, 'title headline-font')]/a[contains(@class, 'campaign-link')]//@href"):

# add the scheme, eg http://

url  = "https:" + href.extract()

通过输入exit（）退出Scrapy Shell。

退出scrapy shell

检查单个筹款活动

我们已经了解了单个筹款活动链接的结构，本节将介绍各个筹款活动页面的内容。

1.接下来，我们打开一个单独的筹款活动页面（见下面的链接），以便爬取（我提醒一下，有些活动很难查看）： https://fundrazr.com/savemyarm

2.使用与以前相同的检查过程，我们检查页面上的标题

检查筹款活动标题

3.现在我们要再次使用scrapy shell，但这次是通过一个单独的筹款活动。 我们这样做是因为我们想要了解各个筹款活动页面的格式（包括了解如何从网页中提取标题）

在终端输入 (mac/linux)：

scrappy shell 'https://fundrazr.com/savemyarm'

在命令行输入 (windows)：

scrapy shell “https://fundrazr.com/savemyarm"

获取筹款活动标题的代码是：

response.xpath("//div[contains(@id, ‘campaign-title')]/descendant::text()").extract()[0]

4.我们可以对页面的其他部分做同样的事情。

筹集的额度：

response.xpath("//span[contains(@class,'stat')]/span[contains(@class, 'amount-raised')]/descendant::text()").extract()

目标：

response.xpath("//div[contains(@class, 'stats-primary with-goal')]//span[contains(@class, 'stats-label hidden-phone')]/text()").extract()

货币的类型：

response.xpath("//div[contains(@class, 'stats-primary with-goal')]/@title").extract()

筹款活动结束日期：

response.xpath("//div[contains(@id, 'campaign-stats')]//span[contains(@class,'stats-label hidden-phone')]/span[@class='nowrap']/text()").extract()

贡献者数量：

response.xpath("//div[contains(@class, 'stats-secondary with-goal')]//span[contains(@class, 'donation-count stat')]/text()").extract()

故事：

response.xpath("//div[contains(@id, 'full-story')]/descendant::text()").extract()

网址：

response.xpath(“//meta[@property='og:url']/@content").extract()

5. 退出scrapy shell：

exit()

ITEMS

爬取的主要目标是从非结构化数据源（通常是网页）中提取结构化数据。 Scrapy爬虫可以将提取的数据以Python dicts的形式返回。虽然非常方便，操作也很熟悉，但是Python dicts本身缺少结构化：容易造成字段名称中的输入错误或返回不一致的数据，特别是在具有许多爬虫的较大项目中（这一段几乎是直接从scrapy官方文档复制过来的）。

我们将修改的文件

items.py的代码在这里：

https://github.com/mGalarnyk/Python_Tutorials/raw/master/Scrapy/fundrazr/fundrazr/items.py

保存在fundrazr / fundrazr目录下（覆盖原始的items.py文件）。

本教程中使用的item类 （基本上是关于在输出以前，我们如何存储我们的数据的）看起来像这样。

items.py的代码

爬虫