专栏名称: AirPython
分享 Python 自动化及爬虫、数据分析实战干货,欢迎关注。
目录
相关文章推荐
深圳大件事  ·  绕腕留奇香!沉香藏家都绕不过它 ·  昨天  
深圳特区报  ·  市七届人大六次会议举行第二次全体会议 ... ·  昨天  
51好读  ›  专栏  ›  AirPython

Python 爬虫,推荐一款简单的抓包工具(续)

AirPython  · 公众号  ·  · 2020-12-08 12:03

正文


点击上方“ AirPython ”,选择“ 加为星标

第一时间关注 Python 原创干货!


1. 前言

上篇文章发布之后,有小伙伴后台私信我,说文章只涉及到手机端的抓包,对于浏览器上的抓包,他还是不会用

Python 爬虫,推荐一款简单的抓包工具

所以,本篇将详细聊聊如何使用 Jmeter 在 Chrome 浏览器中抓包

2. Jmeter 配置

2-1 创建线 程组

打开 Jmeter 软件之后,保存为一个 jmx 文件

选中默认的测试计划,右键,添加一个一个线程(用户),选择线程组,这样会创建一个线程组

2-2 为线程组添加录制控制器

选中上面创建的线程组,添加一个录制控制器

录制控制器的作用是: 可以更好的管理抓包列表

2-3 添加代理服务器,并配置

继续选中测试计划,右键添加一个 HTTP 代理服务器

然后,配置代理服务器的端口号,选择上面创建的录制控制器为目标控制器

这样, 抓包结果列表会在目标控制器下展示

需要注意的是, 如果存在代理服务器的端口被占用,只需要使用 lsof 命 查看端口 对应的进程 PID,停止进程即可

2-4 为代理服务器添加察看结果树

选中代理服务器,右键添加一个监听器,选择察看结果树

2-5 过滤设置

Jmeter 支持三种方式来过滤 ,分别是: Content Type、包含模式、排除模式

其中包含模式和排除模式都是使用正则表达式来进行过滤

比如:过滤出百度网站所有有效的请求

Requests Filtering Tab 页面,设置包含模式和排除模式

  • 包含模式

    .*baidu.*

  • 排除模式

    .*\.(js|css|PNG|jpg|ico|png|gif|svg).*

3. 证书管理

同样,浏览器抓包需要导入证书,以 MAC 为例

首先,首次启动代理服务器的时候,会在 Jmeter 的文件夹目录生成一个证书文件: ApacheJMeterTemporaryRootCA.crt

需要注意的是, 如果想更新证书文件,可以删除同级目录下的 proxyserver.jks,重启代理服务器,会强制 Jmeter 重新生成密钥库

3-1 Jmeter 导入证书

操作步骤:Jmeter 工具栏 - 选项 - SSL 管理器 - 选择 Jmeter 证书文件 - 打开导入

3-2 浏览器导入证书

进入到浏览器设置中,在安全证书中导入上面的证书文件即可

如果是 MAC,双击安装,并设置为信任即可

4. 浏览器配置代理

浏览器配置代理有多种方式,以 MAC 为例,包含:

  • 浏览器插件设置代理,比如:Proxy SwitchyOmega

  • 网络管理中,设置全局代理

以浏览器插件 Proxy Switch Omega 为例,配置好代理服务器地址及端口号,和 Jmeter 代理服务器保持一致即可

5. 抓包

完成上面操作之后,启动 Jmeter 代理服务器,就可以顺利进行抓包了

打开浏览器,进行一系列操作,会发现过滤后的请求都会在录制控制器和察看结果树中显示出来







请到「今天看啥」查看全文