A\/B Testing | 连8年经验的Senior Business Analyst都容易忽略的两种错误是？

我对“五问”分析方法深信不疑。了解驱动用户行为的根本原因和提前了解用户行为同样重要。如果A/B测试在年初和在六个月后分别给你一个结果，你是否真的在实验中获得了任何有价值的信息？

通过“五问”我们能够识别产生用户行为的根本原因，正因为如此“五问法”具有很强的吸引力。

另一个技巧是从A/B测试中得到初步的结果，然后用现实生活中的客户来验证这些发现和假设。对五万个用户进行测试的确重要，但是经验不足的产品经理往往只看到数据，如果在现实生活中和另外50个客户交谈可以增强测试的影响，那么我们为什么不去和他们交谈呢？

盲目A/B测试的另一个问题是，营销人员和产品经理往往忽视了一种固有的选择偏见。直到你完全确定每天来你网站的用户代表了整个用户群体时，你才可以忽视这种偏见。

以下这些偏见的影响值得我们注意：

日常销售的影响。

比如你是一家电子商务公司，那么每日的促销和销售量都会影响您主页上的用户。如果你们公司销售各种类型产品，那么您的主页在情人节和在推出新的小米手机的时候则会有很大的不同。这些日子里做的任何A/B 实验都只能代表特定群体，所以我们需要消除异常值对用户群体的影响，并在用户更具有代表性的情况下选择一天进行测试，而不是每天数百次的测试。

现场行为的差异。

毫无疑问，一个经常花费15分钟的老客户和一个第一次登陆你的网站并在10秒内付费的用户是不一样的。如果一个变动能够留住老客户，但是不会吸引新用户，那么你的用户群体将逐渐减小。为了避免这种情况发生，你的测试应该集中在平均水平的用户群，去掉花费太少或太多时间的用户，以及频繁购买和回购过快的用户。