专栏名称: 马哥Linux运维

马哥linux致力于linux运维培训，连续多年排名第一，订阅者可免费获得学习机会和相关Linux独家实战资料！

Python爬虫实战之使用Scrapy爬起点网的完本小说

马哥Linux运维 · 公众号 · 运维 · 2017-04-22 08:14

正文

作者：totcw
来源：http://blog.csdn.net/totcw/article/details/65444660

一.概述

本篇的目的是用scrapy来爬取起点小说网的完本小说,使用的环境ubuntu,至于scrapy的安装就自行百度了。

二.创建项目

scrapy startproject name 通过终端进入到你创建项目的目录下输入上面的命令就可以完成项目的创建.name是项目名字.

三.item的编写

我这里定义的item中的title用来存书名,desc用来存书的内容.、

四.pipelines的编写

在pipelines可以编写存储数据的形式,我这里就是使用txt形式的文件来存储每一本书

五.Setting的编写

只要将下面代码中的tutorial替换成自己项目的名字就可以

六.spider的编写

七.总结

通过上面的代码虽然可以获取所有书的内容,但是起点是有vip限制的,也就是说必须用起点的vip帐号登录才能查看完本的小说,因此这有点遗憾,我没有起点小说网的会员.

————金三银四课程特惠————

马哥教育精英线下Linux班郑州校区开班倒计时，优惠四重享，赠送高达4000元的学习大礼包：

第一重：4月30日前报名，立减400元，名额有限抢完为止；

第二重：4月30日前报名，赠送马哥教育内部Linux知识精讲教材一本（价值666元）；

第三重：4月30日前报名，赠送马哥教育实体服务器使用资格（价值1666元）；

第四重：4月30日前报名，赠送马哥教育云学堂学习权限1个（价值1999元）；

课程详情，请咨询学习顾问：

“

马哥教育一号女神，温柔可人，最懂IT男

豌豆

Linux面授班，报名优惠400元，名额有限，抢完为止！

推荐文章

InfoQ架构头条 · Safe C++提案能复制Rust的内存安全性吗？

昨天

运维 · 刚刚！支付宝崩了？！网友急疯！最新消息来了

3 天前

InfoQ架构头条 · 从架构角度认识AI：为架构师解读机器学习与生成增强技术

1 周前

新华网 · 未来十年手机会消失？这十场技术革命终将到来！

7 年前

新华网 · "熊猫妈妈"赴两会，你以为她是代表熊猫来卖萌的？

7 年前

IDC圈 · 今日IDC资讯|京津冀大数据中心18日正式投入运营，骨文公布其德国云数据中心的扩张计

7 年前

影视独家 · 从全民吐槽到四面吸粉，力图摆脱“不红体质”的景甜只是做了这件事

7 年前

幕后产品 · 产品经理最基本的思维逻辑（下）

8 年前