Python最强的代理池，突破IP的封锁爬取海量数据（送项目源码）

项目主要几大模块分别是爬取模块，存储模块，校验模块，调度模块，接口模块。

• 爬取模块crawler.py

负责爬取代理网站，并将所得到的代理存入到数据库，每个代理的初始化权值为 INIT_SCORE。

• 存储模块database.py

封装了 Redis 操作的一些接口，提供 Redis 连接池。

• 校验模块validator.py

验证代理 IP 是否可用，如果代理可用则权值 +1，最大值为 MAX_SCORE。不可用则权值 -1，直至权值为 0 时将代理从数据库中删除。

• 调度模块scheduler.py

负责调度爬取器和校验器的运行。

• 接口模块webapi.py

使用 sanic 提供 WEB API （服务器提供接口）。

•如何使用•

• 安装 Redis

项目数据库使用了 Redis，Redis 是一个开源（BSD 许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。所以请确保运行环境已经正确安装了 Redis。安装方法请参照官网指南。

• 项目源码

文末点击阅读原文

• 安装依赖

$ pip install -r requirements.txt

•使用API获取代理•

运行代码后，访问http://127.0.0.1:5000/进入主页，如果显示'Welcome'，证明成功启动。

访问http://127.0.0.1:5000/get可以获取一个可用代理。

也可以在程序代码中用相应的语言获取，例如:

import




    
 requests
from bs4 import BeautifulSoup
import lxml

def get_proxy():
 r = requests.get('http://127.0.0.1:5000/get')
 proxy = BeautifulSoup(r.text, "lxml").get_text()
 return proxy

•Sanic 性能测试•

使用 wrk 进行服务器压力测试。基准测试 30 秒, 使用 12 个线程, 并发 400 个 http 连接。测试 http://127.0.0.1:3289/

$ wrk -t12 -c400 -d30s http://127.0.0.1:3289/
Running 30s test @ http://127.0.0.1:3289/
 12 threads and 400 connections
 Thread Stats Avg Stdev Max +/- Stdev
 Latency 34.63ms 12.66ms 96.28ms 58.07%
 Req/Sec 0.96k 137.29 2.21k 73.29%
 342764 requests in 30.10s, 49.69MB read
Requests/sec: 11387.89
Transfer/sec: 1.65MB

我们看到了什么？平均 每秒钟11387.89个请求 ，就问你们怕不怕。机器性能更好一下，就是一波DOS攻击了。

•实际代理性能测试•

• 实测效果

测试代理： http://localhost:3289/get/20
测试网站： https://taobao.com/
测试次数： 1000
成功次数： 984
失败次数： 16
成功率： 0.984

测试代理： http://localhost:3289/get/20