为什么对比测试可能会扼杀转化率

黄文博/祝洁 iCDO翻译志愿者

如果你已经尝试了所有方法，但产品的转化率依然处于下滑趋势，那么对比测试可能是导致这种现象的罪魁祸首。

是的，就是对比测试，这个传说中的流量开关、转化率助推器、自诩为目标用户提供支持策略的重要贡献者，却很少兑现它的承诺，导致虽然有些广告策划做的很棒，但最终却取得了失败。

在你大张旗鼓开始着手进行实验之前，我想一开始就向你澄清，这种宣称能够发现顾客喜好、激发用户热情并且能够一直带给他们最好体验的对比测试，其本身确实是一种靠谱的策略。任何一个经营活动都应该使用这种策略。

但是很遗憾，很多对比测试服务只会让你一知半解。今天就让我们一起深度挖掘一下到底是什么原因引出了这样的问题，以及如何处理。

前提很简单：制作两个或更多版本的页面。均分流量然后评估结果。但是这恰恰是让事实得以水落石出，让缺陷暴露无遗的地方。

事实上，你所收集的零散信息已经试着说服你相信一种选择会好于另一种选择，这个时候你本应该自然而然的就知道该怎样处理这样的结果。

例如，运用 SumAll 对同一页面进行了两种相同版本的对比测试 。测试结果表明第一个版本以将近 20% 的幅度明显优于第二个版本。

（Optimizely已经修改了他们的统计系统来阻止这样的缺陷混淆结果）

这说明了对比测试中一个很重要的问题：那就是你可以预测到业绩能够获得大幅增长的点，但如果你不将其转变成为可操作并且可以对直接收益产生影响的步骤，这些预测所产生的结果也是徒劳无用的。

冒着听起来太像 Kevin Trudeau 的转化率优化版本的危险，大多数对比测试和优化公司并不是真的要掏空你的银行账户，而什么都不留给你留下。他们会采用一种大而隐蔽的方式来使你感觉自我良好。

当需要通过不同的平台来完成对比测试时，,结果会有一些出入。比如 Visual Website Optimizer 和 Optimizely 可以进行所谓的“单尾”测试, 而另一些，如 Adobe Test&Target 和 Monetat 可以做“双尾”测试。

那么两者之间有何不同，我们为何需要关注呢？

SumAll 把这种测试带到了这里，这将对你未来的对比测试产生巨大影响。为了更好的解释这种想法，打个比方。

单尾测试寻求的是积极的相关性，就好像一直在牌桌上赢牌一样，那些并不真正懂，或者不在乎对比测试细节的高管们偏爱单尾测试，因为他们看起来总是在坐庄。这听起来对网站和用户都有好处，更不用说是工作的保障了。但这里有一个大问题，即单尾测试披着统计外衣的皮，并不能带来有意义的分析。

接下来是双尾测试。

双尾测试考量的是在过程中可能发生的事情的正面和反面，你需要更多的数据支撑来得出结论，但结论揭示了一些在单尾测试中找不到的点。

但这并不总是意味着双尾测试带来的都是正确的答案。在一些情况下，你需要用证据去验证一个具体测试中的积极结果。而单尾测试仅需要少量的资源进行验证便能得到结论。重点是你要知道自己考量的是什么，清楚这个因素在多大程度上直接影响到了你的底线和转化率，以及在多大程度上这个因素只是个噱头。

我曾经写过“统计学意义”，讲的是它为什么很重要以及它是如何影响你的测试结果的。

在收集到足够的信息之前，许多对比测试往往就已为你展现了一个倾向于取胜的选项。测试可能会挑选出有 90% 统计学意义的赢家，你也按照这个结果对网站做出了改变，当然你的用户会察觉到这些变化，特别是那些以前访问过的用户，因为网站变得有所不同了。这些改变也许会让你的转化率受到波动，但只是暂时受到波动而已。

如果你没有足够的流量进行对比测试，是否能得出具有统计意义的结论？那么你需要知道这个事实，很多的服务商为了谋取利益会降低门槛并告诉你，只需要 100 个用户访问或者更低的数量便能测试出结果。

这对你是不公平的，这对每一个对比测试工具的使用者都会产生巨大的伤害。

这篇文章并不是意在抨击优化转化率的工具平台，而是想告诉你，使用这些工具，你真正能得到的是什么。庆幸的是，这里有些方法可以供你使用，并且可以使你的对比测试实验真正有效，为你提供真正的结果，并真正持续的提升你的转化率。

当进行对比测试时，你怎么能够判定得到的结果是实实在在且具有深度洞察的结果，而不只是隔靴搔痒的结果呢？

你仍然可以使用你喜欢的工具创建一个测试，但如果想要更好的看到它是如何进行的，我们还是使用 Kissmetrics 的仪表板创建一个 A/B 测试报告。 Kissmetrics 集成了多种对比测试的工具。然后，简单的创建一个新的报告，选择一个实验以及一个转化事件，如下图所示。

假设我们希望看到，哪些免费体验活动带来了更多的付费订阅者，运行测试, 然后加载一下测试结果：