洞察海外 AB 实验的地区差异效果

导读 本文将探讨 AB 实验的地区差异。

主要内容包括：

1. 游戏 AB 实验的地区差异

2. 异质性效果检验与拆分

3. 异质性效果理解与预测

4. 总结

5. Q&A

分享嘉宾｜ 周俊龙 博士 腾讯 资深数据科学家

编辑整理｜ 贾潍佳 山东大学

内容校对｜李瑶

出品社区｜ DataFun

---

01

游戏 AB 实验地区差异现状

首先简单介绍游戏 AB 实验中地区差异的现状。

1. 实验效果的地区差异

日常 AB 实验场景中，我们关注的往往是整体的效果。假设有 A、B 组两组实验，我们通常关心 A 组是否比 B 组更好。在海外的场景里则会稍有不同，因为我们会同时对多个地区进行实验；或者在同一个实验中，会观测到在不同地区有不同的效果。

举例来说明，假设我们在 3 个地区同时上线新策略和旧策略的对比实验，实验效果分别是：A 地区在线时长提升了 10 分钟，B 地区在线时长提升了 5 分钟，而在 C 地区在线时长降低了 1 分钟。基于这样 3 个地区的实验效果，我们发现，如果关注整体的实验效果，那么可以计算得出：整体实验效果是正向的 5。

这是否意味着我们应该整体上线新策略？显然不是的，对于 C 地区我们应该保留旧策略，而不是使用新策略。

我们检验了腾讯游戏在海外实验中的情况，发现大部分实验都有这样的效果。

那么，如何理解这个差异呢？有两种情形：

第一种：如 A 和 B 地区的实验情况。每个地区都有提升，整体新策略更好；

第二种：如 A 和 C 地区的实验情况。A 地区新策略好，C 地区旧策略好。这时候需要进一步分析，究竟应该整体上线新策略，还是对不同地区应用不同的策略，还是去更细化地理解用户以后，再设计出新的实验策略。

2. 常见处理方法

有过多地区运营实验经验的朋友们应该知道，常见的处理办法是基于地区维度的下钻。这个方法的优势在于它非常简单，而且可以给到每个地区的处理效应的无偏估计，操作起来非常方便。而缺点在于缺少泛化能力，也就是说，当我们发现 A 地区效果是正向，C 地区效果是负向时，我们并不能知道 B 地区到底是什么样的情况。另外，我们知道它们之间有差异，但是不知道这个差异从何而来。

在这里我们提出了地区异质性实验效果分析框架，希望在这个框架中，不仅仅能够发现到这里有差异，还能够能理解差异的来源，帮我们更好地理解这个实验、理解这个地区、理解我们每个地区的用户，进一步也希望可以把这些实验结果外推到其他地区，从而对其他地区未来的实验和策略上线提供指导意见。

02

异质性效果检验与拆分

分析框架的第一步是检验和拆分，我们想知道到底是不是真的有这样的差异。

1. 检测

首先，检测的关键问题是，效果的差异到底是真实存在的，还是只是统计噪声。刚刚例子中的数据比较简单，分别是 5、10、-1，很明显都能看到差异。在现实中，分地区看实验效果时可能会出现 1.5、1.3 这样令人迷惑的数据，到底是真正效果有差异，还是只是因为样本量或其他原因导致的统计噪声。

这时我们就会使用 meta analysis（荟萃分析、元分析）的方法来检测地区的异质性：将每个地区视作一个单独的实验，以此来检测每个地区的实验效果，到底是统计显著的有差异，还是只是噪声。

零假设是两个地区是相同的，来自于同一个分布。如果我们能够拒绝零假设，就会发现地区间的实验效果差异是显著存在的，而并不是简单的统计误差造成的。

图中是 meta analysis 做出来的例子中实验效果的分析结果，很明显，这里是真的有异质性，并不仅仅是统计误差。

2. 拆解

当我们发现了确实有实验效果的差异以后，就需要去理解造成差异的原因。需要重新去思考一下我们关注的统计量，也就是要对这个实验效果去做拆解。

在一般的情况下，我们关注的是 A 组和 B 组的差异，统计学上叫做 ATE(平均处理效应，τ)，如果我们关注的 Y（outcome）是次日留存，也就是想知道实验对次日留存是否有提升效果。很多时候我们也会有一些微观变量，例如用户特征，可以基于这些微观的特征来得到一个 CATE（条件处理效应）。这样的 CATE 就是所关注的微观变量的函数。我们定义为 τ(x)。相当于，如果知道用户的特征，就可以估计对于这一类特征的用户的处理效应有多大。

游戏场景里，x 可能包括历史在线时长、单日时长等变量，我们可以用机器学习的方法建模，或者是一些更复杂的 meta learner 的方式，比如 X-learner、t-learner，就能够知道 τ 和 τ(x)。

接下来，就可以对每个地区(脚标 c)定义它们的处理效应和条件处理效应，τc 和τc(x)。

这样拆解的好处是，可以帮助我们理解什么叫做异质性。我们知道，如果不存在异质性，也就是说如果每个地区的实验效果都是一模一样的，就一定会有，对于每个地区都有 τc=τ，且对于所有地区 τc(x)=τ（ x ）。简单来说就是我们不仅仅发现每个地区的平均处理效应是一样的，更重要的是 τ（x） 也是一致的，也就是说假设同样的人换到了不同的地区，同样特征的玩家在不同的地区，实验效果也要是一样的。基于这两点我们才能说确实是没有实验效果上面的异质性。

如果存在异质性，会是怎样的情况呢？举一个简单的例子，如果我们只关注 ATE，就会发现对于两个地点 c 和 c'，如果它们的 ATE 是不一致的，会有两种可能：

• 条 件处理效应不同，也就是 τ c(x)≠ τ c'(x) 。 虽然两个人长得都一模一样，属性也一模一样，但是在日本和在美国就是不一样。
• 分 布不同，也就是 Fc(x)≠Fc'(x) 。 虽然同一类型的玩家在不同地区，他们的条件处理效应是一样的，但是由于在不同地区的玩家分布不同，当做加总的时候，也会发现 τ c≠ τ c' 。

基于以上拆解，我们就定义出了两种可能的异质性的来源：

• 条 件处理效应不同，这是根本的不同；
• 处 理效果一致，但分布不一致。

重新定义一下现有的统计量 τc=τ(c)+εc，本质上就是在衡量这两个统计量的差异。如果差异仅仅是由分布差异导致的，那么就肯定会有 τc(x)=τ¬c(x)，且 τ(c)≈τc。如果不成立，则说明前提假设不对，即在 CATE 上地区间分布不一致，需要进一步分析。

宏观方面，也可能是不同地区的文化不一样，比如不同地区的网络效果不一样。那么，可以进一步写为 τc(x)=τ(x, Vc)，也就是关于宏观变量的函数。就此，拆解完成了很重要的一环，能够区分异质性的来源，是来自于 CATE 的差异，还是来自于分布的差异。

03

异质性效果理解与预测

做完拆分以后，就可以开始做理解和预测的工作。

1. 理解

我们利用一个研发实验来检查这个问题。首先对条件处理效应 CATE 做建模，可以发现，最重要能解释这个实验效果的变量是用户在线天数。我们把不同地区的实验效果从大到小排序，选出实验效果最好的、一般的和最差的三个地区，把用户在线时间做了分布绘图。可以发现，游玩时间分布在三个地区的分布明显不一样，这表明，很有可能处理实验效果的差异来自于分布的不同。

进一步地，把刚才的 τc 和 τ(c)估计出来，画在这张图上。可以看到，黑线是 45 度线，拟合出来的处理效应是这条红色虚线，红线与黑线是非常接近的，也就意味着我们预测的实验效果和真实的实验效果是高度相关的，进一步也就说明至少在这一个实验里面，微观变量（例如在线时间时间）的 CATE 在不同的地区大致是相同的，实验效果的不同主要还是来自于分布的不同。

2. 预测

当我们知道异质性的来源后，就可以泛化实验结果进行预测。

举个例子，如右图所示，假设我们并没有在美国做过该实验，但是想知道在美国做实验的效果预计是什么样的。因为我们已经知道它的异质性效应主要来自于分布，而不是条件处理效应的差异，我们就需要先做拆分再预测。右图可以看到，真实估计出来的处理效应和预测处理效应是高度相关的，说明我们的数据确实能够支持我们的想法。在真正去制定下一步实验策略的时候，重要的并不是国家或地区的差异，而是异质性来源，也就是分布；而且，微观变量比国家地区更为重要。

04

总结

最后进行一下总结。

1. 跨地区异质性分析

跨地区异质性分析的整体链路如下：

首先检测到底有没有异质性存在，如果有就开始做拆分，看异质性实验效果的差异到底是从哪里来的。有一些可能可以被微观变量解释，有一些则不能。需要我们继续拆分，哪个变量是最重要的，分布差异是什么样的。也可以做预测，在未来迭代的时候就可能发现，地区因素并不是最重要的，最重要的是背后的分布不同以及围观变量。在真正制定策略时，可以针对某些变量来制定策略，可能会比针对某一个地区来制定相关的策略更为有效。

2. 总结

在海外场景中 AB 实验会经常出现实验效果的地区差异，我们提出了一个分析框架，可以实现：

• 检 测这一差异是否构成显著的异质性；
• 对 于异质性，可以拆分其来源；
• 这 一拆分可以增进我们对地区的理解，同时为下一步策略迭代提供数据 支持。

本次分享就到这里，谢谢大家。

05

Q&A

Q1 ：实验期如果开了一个空白的 A 实验且显著了，我们如何证明它显著是 A 的问题还是 base 的问题？

A1：逻辑上讲，如果是空白 A 实验效果显著，大概率是 base 或者分流造成的问题，需要查一下 bug。

Q2： 如果我们证明了是因为分布不同导致实验结果不同，那么在分析实验结果的时候，还需要保证 AB 组的分布让它尽量相似吗？人群的分布是应该根据某些重要特征，还是应该尽可能多的特征来构建？

A2：首先要去看整体的分流究竟是怎么做出来的。是在地区层面做了分流，还是做了整体的分流后维度下钻，这两个性质会稍有不同，但是要保证 AB 分组的分布是相似的。

Q3： 这套方法论是只适用于地区维度，还是也能推广到年龄这些其他维度上？

A3：我认为可以推广。如果年龄分组比较粗，那么细致的分析可能是有必要的。但是年龄粒度比较细，甚至是连续的，那么额外的分组拆分可能不太会有更多的增益，反而会增加 noise，这时候一个 uplift model 可能就已经可以提供足够的信息了。

以上就是本次分享的内容，谢谢大家。

分享嘉宾

INTRODUCTION

周俊龙博士