浅谈接口 Diff 测试

别急，尝试下接口Diff测试...

接口Diff测试，简单来说就是比对相同接口在不同版本/不同环境下面的返回内容是否符合预期。

对于日常迭代的接口来说，Diff测试是我们接口基本功能测试的有效补充，因为采用的是自动化的手段，它可以利用线上大量的请求日志在新旧两个版本中进行回放，而我们手工/自动化的接口回归往往只局限于少量的测试数据，很难覆盖到大量的、在生产环境真实会发生的异常请求数据。

如果你曾有过大量的接口测试实践，相信对上面的说明会深有感触，单纯的依靠有限的CASE进行接口功能覆盖，上线后或多或少还是会发现一些异常。过多的美言我们不再累述，下面我们就一起看下实现思路和主要的实现细节吧。

其实呢，整体思路比较简单，见下图：

用Unittest做过接口自动化的同学看上图是不是感觉很熟悉？没错！接口Diff测试和接口自动化用的就是同一套东东。

区别在于，Diff测试需要同时向两套环境发相同的接口请求，拿到返回后进行比较（上图中的“主要函数：json递归比较”就是实现比较功能的）；

另外，优化了常用的HtmlTestRunner测试报告，采用了更加美观的BeautifulReport报告模板。

项目的目录结构

我们从测试报告往回说。一份“美观、清晰”的测试报告，往往会让测试工作显得更加专业。因此，项目中报告部分采用了BeautifulReport（html模板及部分细节有改动）,BeautifulReport是一套开放源码的报告工具，此部分有以下几点说明：

1. BeautifulReport可从https://github.com/TesterlifeRaymond/BeautifulReport 上面下载

2. 建议把该工具放到项目目录下进行调用，方便维护和扩展，例如我就放到了util目录下。

3. BeautifulReport在代码中调用类似HtmlTestRunner,需要传入待执行的测试用例集，如下图

4. 对于失败的CASE，对应的结果下面也有清晰的错误原因，方便问题定位。

测试用例部分需要说明的：

1. 建议每个接口单独一个.py文件，这样加上多线程可以支持同时跑，提高效率

2. 用例采用的是数据驱动方式，数据放在csv文件中（关于数据驱动网上有很多例子）

3. Diff测试有一项重要的工作就是两个接口返回值的比对，现在多数http接口数据格式都采用json。因此，需要实现个简单的json比对的方法，部分代码如下（当然JSON比较网上也有很多例子可以参考）

4. 上面代码中带有HTML标签的提示信息，完全是为了优化测试报告中的错误信息。否则比对结果看起来比较杂乱。