打造一款Python实现自动下载电影的“脚本”！那种电影也可以哦！

都很有规律不是吗？而在Scrapy里面，就可以设定我们想要的规律，Scrapy就可以对这些符合规律的网址及页面信息进行处理。先来看看成果吧，这一部分中，我们想要的结果就是输出排行榜里面的电影名称：

而且我们其实可以做的更好。

Pycharm用这个文件夹创建Project，douban/db处创建一个方便IDE运行的文件run.py

输入

from scrapy.cmdline import execute

execute(['scrapy', 'crawl', 'douban'])

打开douban/db/items.py，如该文件的名字，这个是我们从豆瓣这个“仓库”里取出来的“货”，我们想要的是什么“货”呢？电影名字。

classDbItem( scrapy.Item ) :

name = scrapy.Field ()

douban/db/db/spiders下创建spider.py，这个文件用来爬取网页，处理网址，我们需要告诉他我们想去的“仓库”该怎么走，该怎么爬。

“货物”信息的获取

下面轮到parse_item这个人来干活了，他需要从上述指定地点找到我们要的“货物”的信息，“货物”位于何处可以通过Xpath来查找。网页上点右键查看源代码，被给包住了，Xpath的功能就是通过这些标签来找到特定信息。

浏览器F12打开调试控制台，

指到该信息处，右侧就会显示出对应的代码

点右键有个好东西，

这个就可以拿来用啦。不幸的是，Scrapy经常不能识别出来，所以我们还需要会一点Xpath的语法（查一查10分钟搞定），参考Copy的自己修改一下。这里推荐Chrome的Xpath Helper这个插件，可以查看自己写的Xpath正不正确。

def parse_item(self,response):