在爬虫时，某些网站会有封ip的现象,所以选择利用代理伪装我们的ip进行爬虫请求，但进行爬虫时可能需要很多ip，这时就要求维护一个代理池（池也就是代理队列），可放进代理，也可取出代理。好了马上就给大家分享。

抓取索引页内容

显然上面的请求是成功的，但是只要请求10十次以上，我们的ip就会出现被封的现象。下面我们加入一个for循环来验证一下。

所以接下为解决反爬虫这一问题，应该使用代理池

设置代理

由于使用的是免费代理，可能会有很多人同时使用，就会出现代理不可用的的现象。

设置代理时注意：

把文件放入Pycharm中，Terminal 上运行run.py

在Terminal 上可以同时spider.py 和run.py ，但要注意的是要切换到所在文件下。

• 在Redis 的可视化工具Redis Desktop Manager 会显示如下图

• 在自己的浏览器上输入//127.0.0.1.5000/get 得到如下的结果

获取详情页内容并存储数据

部分代码