爬虫学习笔记（2）使用MongoDB保存拉钩数据

正文

生苦短，我用Python

1、什么是MongoDB

MongoDB是一个高性能，开源，无模式的文档型数据库

MongoDB将数据存储为一个文档，数据结构由键值(Key=>value)对组成

2、MongoDB相关安装

Windows的安装方法：可以借鉴小歪老师的知乎专栏： MongoDB及可视化工具的安装 中给出了详细的MongoDB数据库、可视化工具RoboMongo和MongoDB的PyCharm插件--Mongo Plugin的安装步骤和方法，可按照步骤安装并测试连接，本人也是按照该教程一步一步操作的。实验都是成功的。

3、Python用于操作MongoDB的第三方库pymongo安装：

我这里是已经安装过了，所以是这样的提示，如果未安装，则是大致提示你安装成功的英文。

这里说下pip，我刚开始使用pip安装包的时候，一直提示未能识别pip,最后我找到python的安装目录下：C:\Users\XXXX\XXX\XXX\XXX\Python\Python35\Scripts下，shift+鼠标右击，在此处打开命令窗口，再使用pip install pymongo就成功了。

需要这样使用pip是因为我没有设置环境变量的原因。如果每次都是这样使用pip安装包很麻烦，所以如果你想每次随便在哪里打开cmd.exe都能pip安装包，则需要配置下环境变量：

配置流程：我的电脑（或计算机）-->右键属性-->高级系统设置-->环境变量-->系统变量-->path-->点击编辑-->将在刚才shift+右键地方的地址复制到里面，在随便在一个地方打开cmd.exe，输入pip都可以安装包了。

4、爬取拉钩网爬虫工程师数据并保存到MongoDB中

1、分析网页：想要爬取一个网站，首先必须去分析改网页的请求结构和返回结果结构。

由上图分析可知：请求url和请求方式post。

由上图可知：请求所需要的Cookie、Referer、和User-Agent。这些都是请求需要的参数。

点击response,可以看到该请求返回值，这样看不方便，我们可以全选复制，用json转换工具看一下：

请到「今天看啥」查看全文