• 序

• 入门

• 0.准备工作

• 1.技术部已经研究决定了，你来写爬虫。

• 2.跑一个试试？

• 解析

• 0.为什么不试试神奇的xpath呢

• 1.看看xpath的效果

• 递归

• Pipelines——管道

• 0.定义一个Item

• 1. 写一个处理方法

• 2.在爬虫中调用这个处理方法。

• 3.在配置文件里指定这个pipeline

• Middleware——中间件

• 0.Middleware的配置

• 1.破网站查UA, 我要换UA

• 2.破网站封IP，我要用代理

• 一些常用配置

• 我就是要用Pycharm

• 参考
  
  

序

本文主要内容：以最短的时间写一个最简单的爬虫，可以抓取论坛的帖子标题和帖子内容。

入门

0.准备工作

需要准备的东西： Python、scrapy、一个IDE或者随便什么文本编辑工具。

1.技术部已经研究决定了，你来写爬虫。

随便建一个工作目录，然后用命令行建立一个工程，工程名为miao，可以替换为你喜欢的名字。

scrapy startproject miao

随后你会得到如下的一个由scrapy创建的目录结构

在spiders文件夹中创建一个python文件，比如miao.py，来作为爬虫的脚本。内容如下：