A/B测试: 概念=执行

原文地址：https://booking.design/a-b-testing-concept-execution-b37bf4d744d

原文作者：Erin Weigel (Booking.com Senior Designer)

“我们测试了,结果失败了。”

在A/B测试的世界里典型的借口是泛滥的, 但它会忽略一个事实:一个概念本身是完全不同于概念的执行的。想法经常会不断涌现，之前的失败往往被贴上失败的标签, 从来没有让它们焕然新生过。

“是的, 多年前我试过这个想法, 但是没有成功。”

如果没有认真核实过以前的测试，快速否决的心态可能是有害的。因为Booking.com进行A/B测试大约十年了,有时似乎一切都已经尝试过。尽管我们做了很多测试, 失败了很多次, 有些许成功, 但是我们可以为客户和改善使用网站体验的地方还有很多。这就是为什么我经常对这样的话不屑一顾, “好吧, 确切的说, 你测试了什么想法，多久以前?”

他们以前做的A/B测试接近现在新提出的方法吗？如果是这样,运行了多长时间?它是如何影响用户行为的?他们110%确定没有BUG或者在执行中没有可用性问题吗？

“失败的方法总比成功多很多。”

当我听到一个可靠的概念失败时，我有一系列的问题要问。这个列表来自我的经验,这些经验都是从失败的测试中总结出来的。

这句话相当悲观,但是是有原因的。我已经做了足够的A/B测试(从初始概念到具体的技术实现角度)来掌握可能会导致一个好主意灭亡的潜在变量。

一个看似无关紧要随意的变化或难以界定设计缺陷带来的消极影响足以抵消任何积极的影响。

下面是一些 可以让好的想法失败的具体例子：

由于不理想的实现技术增加了页面加载时间

你使用了一些大尺寸的图片, 繁冗的CSS, 或者一些执行力差的JS? 你一直关注任何可能会出现的新错误吗? 密切关注所有重要网站统计数据, 因为更改用户“看不见的”变化和内容与视觉变化一样有影响力。

对关键元素颜色、字体或字体大小略微错误的选择

引人注目的最重要的信息足够清晰吗?

即使看起来微不足道的衬线字体使用在错误的地方都可能有负面影响。

和页面上的其他内容来相比，新功能设置了不合适的尺寸、放到了不合理的位置上

你所添加或重新设计的功能会分散用户对页面上其他元素的注意力吗？

你删除别的内容来放新的功能了吗?

如果你添加的内容不能影响任何用户与页面的交互，那么你做的事情就没有意义。设计师往往高度集中在他们做的新功能上, 忘记了它改变了周围的内容。

错误的时机

你实现了一个工具提示,它会在一定时间后消失吗?你添加的内容仅仅是在今年特定的时间有意义的吗?

显示特定类型的信息太快,太迟了,或者不给人足够的时间来了解你的内容有时会产生相反的效果。

边界情况的场景中的BUG

那些不太常使用的浏览器或设备会出现渲染问题吗? 它在平板电脑上和在桌面一样有用吗?如果网站是多语言的,一切都被合理的翻译，正确的本地化吗?

如果足够的这些边界情况结合在一起,他们的累积效应是消极的。然而, 一个全面的A/B测试框架的好处是你可以用工具分析失败测试的用户代理, 浏览器类型和国家。每个用户在你的网站上应该有一个很好的体验, 解决你在数据中识别出的这些问题可以将结果远离边界效应。A/B测试可以帮助确保为每个人有高质量的体验。