本文系投稿作品，仅代表作者观点
作者|Carrie Chen
大数据文摘欢迎各类优质稿件
请联系[email protected]
作为产品经理的你，一旦确定了你的试验目标和想要优化的KPI后，下一步要优先考虑的就是测试什么。
通常我们经常挥舞着拳头拍着胸脯说“YOU CAN TEST ANYTHING!”,但是并不意味着所有的一切都需要测试，或者说我们需要找到一个适合开始的地方来测试。
通常，Google Analytics会提供大量的数据，从数据我们可以发现一些问题，但是若要这些数据变得更有价值，A/B测试才是真正能带来最大收益的关键。
所以，基于数据的优先化测试 - 它将是产品经理为测试排序优先级的最宝贵资源。
通常你会认为你的首页是你网站中最重要的区域。
但是当你查看Google Analytics（分析）的“目标网页”报告时，你可能会看到许多不同的网页获得入口，有些甚至超过了你的首页。
当你把使用相同模板的所有网页的流量相加在一起后，你会发现你得到了比网站首页还要多的流量。所以如果你需要确定测试站点范围模板布局的机会时，就可以查看模板级别上的数据。
首先查找到那些效果极为不佳的网页。你的数据可以帮助你找到一些明显存在问题的页面，比如高跳出率的页面，但是有一些问题就表现的并不是那么明显。
如果你的问题是结算过程中购物车的放弃率过高，那么像GA这样的统计工具无法告诉你真正的原因，比如它不能帮助你发现你的访问者之所以放弃是因为很难从其他页面找到运费信息，所以他们才会继续走到结算流程看是否能找到他们想要的运费信息。
所以这个时候，你如果只是优化购物车的视图，那可能无法解决问题—你还需要查看你的产品和类别页面。
当你只查看一个页面的数据时，你的信息来源中的任何一个都不会帮你找到A/B测试的机会，这个时候最好同时看几个页面。
高退出率的页面—这是用户在离开你的网站前看到的最后一个页面，在GA它会显示在查看网页后立即离开网站的访问者的百分比。高退出率的页面可以识别问题所在。
转化漏斗由两部分组成：顶部漏斗和底部漏斗。我们也可以把顶部漏斗叫做说服端，底部漏斗叫做事务端。
顶部漏斗包括用户最常访问的页面比如首页，类别页面，产品页面。这些页面和区域是消费者对你的产品和服务最感兴趣的地方；底部漏斗是转化发生的地方—访客购买产品，注册并与你取得联系。
到目前为止，我们看过的大多数数据都集中在顶部漏斗，但是显然我们也要关注底部漏斗的转化。
查看下面渠道的跳出率：
GA的渠道分析侧重对底部漏斗的转化分析。如果你正确的设置了渠道，你可以从中获得有价值的测试信息。
例如，查看上图渠道中突然下降的drop-off rates，如果结算区域只有18%的流量从步骤2进行到步骤3，那么在步骤2中就遇到了问题，找到出现的问题后，你应该问问自己为什么会出现这样的问题：
1、访客在这个页面在寻找什么信息？
2、有什么东西阻止了他们在网页上采取行动吗？
3、他们期望在这个页面上看到什么信息？
4、这些访客是从哪里过来的？
5、他们没有足够的动力继续走下去吗？
以上这些问题的答案都可以通过试验来测试和验证你的想法。
当我们像上述讲述的那样定位到问题后，我们产生了几种不同的想法。现在我们就可以基于价值和成本来确定测试想法的优先级。
从高价值，低成本的测试想法开始。针对这种情况的一个例子就是测试结算页面中的相关区域或者变量，通常这个结算页面比它之前转化漏斗中的页面的放弃率都高。
优先测试重要的页面。你的用户最常访问的页面以及最热门的页面也是用于测试的最重要的页面。你可能已经发现了有些页面的效果远不及你之前预期的，但是如果他们没有大量且高质量的流量，你暂时可以先把他往后排一排。
流量高的页面最重要。你需要有较高流量的网页才能在合理的时间内完成试验。通常每月独立访客访问量超过30000的网页就可以在几周内达到统计显著。
如果使用较低的流量，那可能就会需要较长的时间来运行，如果页面的转化率比较高，那可以相对缩短运行的时间。
所以高流量的页面是首先考虑尽快安排测试的，你可以更快的进入下一个试验，这将加速你的优化迭代的过程。
费用高昂的页面。在两个具有相似流量的页面之间进行选择时，可以选择流量费用最高的页面来优先测试，以获得更好的投资回报率。
ConversionXL创建了自己的试验想法优先级模型，试图让使用者尽可能多地排除主观性，它是基于将数据带到表中的必要性。这个模型被称为PXL，看起来像这样：
（点击文末CXL博客链接即可获得电子表格模板副本）
这个PXL框架不是帮我们猜测试验可能产生什么影响，而是要求我们提出一系列我们认为重要的问题，从而帮助我们给众多的测试想法进行优先级排序。
比如图示中第一列，罗列了三个试验想法：
1、重新组织并重写游览页面上的文案
2、颠倒主页内容块的顺序
3、增加移动端主体文案的字体大小
如果你无法同时让三个或者更多的测试想法同时进行试验，那么需要排列顺序。你需要问自己这样几个问题：
1、更改是否在首位区域？→页面中折叠区域以上的内容的变化能被更多的人注意到，因此增加了测试具有影响的可能性。
2、看用户响应时长在5秒内变化是否明显？→借助A/B测试，让一组用户看到原始版本，另一组看到测试版本，然后跟踪用户看到差异后5秒内有没有做响应？如果没有，这个改变可能有较少的影响。
3、它是添加还是删除任何东西？→更大的变化比如消除干扰或添加关键信息往往会带来更大的影响。
4、它能够刺激和提升用户的动机？
5、试验是否在高流量页面上运行？→在高流量页面上的优化改进会产生更多的变现机会。
还有一些变量特别要求您将数据带到表中以确定您的假设的优先级。
6、它是否解决了通过用户测试发现的问题？
7、它是否解决了通过定性数据反馈（调查，民意调查，访谈）发现的问题？
8、它是否支持鼠标跟踪或眼动跟踪热图的假设？
9、它是通过数字分析找到的见解吗？
将这四个问题带入到每周的试验讨论会中，可以避免每个人只是依赖主观意见来排序试验想法。
还有根据估计的时间通过包围答案易于实施的限制。理想情况下，您可以让测试开发人员参与优先级讨论。
这是一个二进制的比例 - 你必须选择一个或另一个。所以对于大多数变量（除非另有说明），产品经理可以选择0或1。
同时，某些变量也被加权，因为它们的重要性 - 变化是多么明显，如果添加/删除某些内容，且易于实现。所以在这些变量上，我们具体说明事情如何变化。例如，在“变化的可察觉性”变量上，您可以将其标记为2或0；或者在“实施的难易程度”上，可以标记2或0。
投稿机构介绍——
北京吆喝科技有限公司
2014年10月在中国北京成立，团队来自 Google，Microsoft，百度，腾讯等优秀互联网企业，已经获得多家国际顶尖融资机构的投资支持。自2016年5月17日商业化版本上线以来，吆喝科技已为近千家用户提供A/B测试云服务。
文章节选自CXL的博客，原文链接https://conversionxl.com/how-to-build-a-strong-ab-testing-plan-that-gets-results/#step-2-prioritize-your-testing-opportunities
我的数据可视化之旅：从天文学家到数据可视化专家养成记
