专栏名称: 互联网er的早读课
专注互联网产品、用研、交互、设计、运营领域精选内容。信息爆炸的社会,每天用心的去读一篇文章,也许胜过你的走马观花。每早八点,我们等你。
目录
相关文章推荐
新浪科技  ·  #听泉赏宝月薪20000招带货主播#【#听泉 ... ·  3 天前  
36氪  ·  新造车肉博,「卷」出一台国民级SUV ·  4 天前  
新浪科技  ·  【闷声发财!#4399掷6亿买地#】#439 ... ·  1 周前  
新浪科技  ·  【#300元抢6399元九号电动车提车被拒# ... ·  1 周前  
51好读  ›  专栏  ›  互联网er的早读课

A/B测试: 概念=执行

互联网er的早读课  · 公众号  · 科技媒体  · 2017-05-10 08:50

正文

原文地址:https://booking.design/a-b-testing-concept-execution-b37bf4d744d

原文作者:Erin Weigel (Booking.com Senior Designer)


“我们测试了,结果失败了。”


在A/B测试的世界里典型的借口是泛滥的, 但它会忽略一个事实:一个概念本身是完全不同于概念的执行的。想法经常会不断涌现,之前的失败往往被贴上失败的标签, 从来没有让它们焕然新生过。


“是的, 多年前我试过这个想法, 但是没有成功。”


如果没有认真核实过以前的测试,快速否决的心态可能是有害的。因为Booking.com进行A/B测试大约十年了,有时似乎一切都已经尝试过。尽管我们做了很多测试, 失败了很多次, 有些许成功, 但是我们可以为客户和改善使用网站体验的地方还有很多。这就是为什么我经常对这样的话不屑一顾, “好吧, 确切的说, 你测试了什么想法,多久以前?”


他们以前做的A/B测试接近现在新提出的方法吗?如果是这样,运行了多长时间?它是如何影响用户行为的?他们110%确定没有BUG或者在执行中没有可用性问题吗?


“失败的方法总比成功多很多。”


当我听到一个可靠的概念失败时,我有一系列的问题要问。这个列表来自我的经验,这些经验都是从失败的测试中总结出来的。


这句话相当悲观,但是是有原因的。我已经做了足够的A/B测试(从初始概念到具体的技术实现角度)来掌握可能会导致一个好主意灭亡的潜在变量。


一个看似无关紧要随意的变化或难以界定设计缺陷带来的消极影响足以抵消任何积极的影响。


下面是一些可以让好的想法失败的具体例子:


由于不理想的实现技术增加了页面加载时间

你使用了一些大尺寸的图片, 繁冗的CSS, 或者一些执行力差的JS? 你一直关注任何可能会出现的新错误吗? 密切关注所有重要网站统计数据, 因为更改用户“看不见的”变化和内容与视觉变化一样有影响力。


对关键元素颜色、字体或字体大小略微错误的选择

引人注目的最重要的信息足够清晰吗?

即使看起来微不足道的衬线字体使用在错误的地方都可能有负面影响。


和页面上的其他内容来相比,新功能设置了不合适的尺寸、放到了不合理的位置上

你所添加或重新设计的功能会分散用户对页面上其他元素的注意力吗?


你删除别的内容来放新的功能了吗?


如果你添加的内容不能影响任何用户与页面的交互,那么你做的事情就没有意义。设计师往往高度集中在他们做的新功能上, 忘记了它改变了周围的内容。


错误的时机

你实现了一个工具提示,它会在一定时间后消失吗?你添加的内容仅仅是在今年特定的时间有意义的吗?


显示特定类型的信息太快,太迟了,或者不给人足够的时间来了解你的内容有时会产生相反的效果。


边界情况的场景中的BUG

那些不太常使用的浏览器或设备会出现渲染问题吗? 它在平板电脑上和在桌面一样有用吗?如果网站是多语言的,一切都被合理的翻译,正确的本地化吗?


如果足够的这些边界情况结合在一起,他们的累积效应是消极的。然而, 一个全面的A/B测试框架的好处是你可以用工具分析失败测试的用户代理, 浏览器类型和国家。每个用户在你的网站上应该有一个很好的体验, 解决你在数据中识别出的这些问题可以将结果远离边界效应。A/B测试可以帮助确保为每个人有高质量的体验。


与原始想法概念相去甚远的大的,小的或不必要的变化会产生料想不到的后果

你改变一行文案,同时也改变字体大小或添加新的颜色?


如果是这样,那么你已经污染了概念测试。我遇到过在测试颜色时,改变了字体大小, 从而导致了可靠的和可重复的想法失败的案例。


嘈杂的track

你是测试一种新的流程或不同的互动?你添加或修改的内容没有立即在页面上可见吗?


只有当他们实际上接触到视觉变化或与不同行为的元素交互时,Track用户才能有效。如果你track的用户没有看到或使用这个功能, 他们会成为数据噪声并且稀释测试结果。如果你的track中有足够的噪音,你就不能听到用户试图告诉你的信息。


观众是谁?

谁看到了改变?是对所有访客所见吗?他们是来自电子邮件? 他们来自一个付费广告或搜索?他们是直接输入网址吗?他们是新用户或返回的用户?他们以前有过购买行为吗?


用户的来源和使用网站的历史影响他们如何与内容交互。你越能把最相关的用户作为目标用户,你越有可能能够创建有意义的交互,使metrics向好的方向前进。


低流量

你的测试只包括一小群用户,并且接触到一个非常微小的改变?


想在一个低流量的网站获得一个大数量级的测试结果,您的更改需要更大、更大胆才行。换句话说,你的想法也许是成功的,但你不能从数据上看出来。改变的大小与你的流量是有关的。


超前的想法?

你什么时候测试这个概念的? 错过了相当好的时间, 但问题还没有解决吗?


“今天不成功的想法可能明天会成功, 昨天成功的想法可能会托今天的后腿。”


“我们设计的产品必须和我们为之设计产品的用户一样是动态的。

人是动态的,他们的期望改变了自己, 他们和周围的世界一同发展。这就是为什么我们设计的产品是动态。设计师往往可以引领时代, 因为我们时刻紧贴时代脉搏。设计趋势、最新的HTML和CSS的技巧和华丽的技术集成可能看起来很酷, 但是大多数时候我们期望的和典型用户感觉舒服的方式完全不一样。


“我们为普通人设计在当今使用的产品。”我总是试着提醒自己, 我是为普通人设计产品。去年不习惯使用滑动手势的人今年可能会期待看到这种方式。随着硬件变得更强大,过去经常使浏览器崩溃的代码能够在几年之后解决这个问题。


当你设置你的下一个A/B测试,这里有一些事情要记住:

记得从分解复杂到顺畅测试想法的过程中仔细摸索前行的重要性。这其中有很多导致失败的因素。


积极的,消极的或中性的结果有助于未来相同概念的迭代或可以提供你洞察新的假说,并且进行测试。


每个A/B测试, 尽管其规模或范围不同, 应该得到相同的关注。没有合适的假设和metric的想法一定会提高测试失败和成功率。


明白一个消极的或中性的结果并不一定意味着什么都没有得到。“这些研究结果也可能是说,“不完全正确”或“现在还没有。“你测试越多,你越会发现“什么都没得到“实际上的意思是“想法不正确”。


但是等等!有更多的…

有时, 然而, 一个概念是如此强大,它甚至可以在最糟糕的执行下存活。我相信你经历过主要网站的特性或功能非常有用但缺乏视觉改进或存在可用性问题的例子。


“有时候一个糟糕的执行会阻止一个好主意的成功。相反,一个伟大的想法在糟糕的执行下也会成功。”


所以, 这是双向的。有时一个糟糕的执行成功阻止一个伟大的想法, 但有时一个伟大的想法是偶然间获得成功的。


Booking.com 简介:Booking.com B.V. 公司成立于1996年,总部在荷兰阿姆斯特丹。向用户提供各种类型住宿最优惠的价格,其中既有小型的家庭经营住宿加早餐旅馆,也有高级公寓和五星级豪华酒店。住宿遍布全球227个国家及地区,曾经自助出国的人大部分使用过或者听说过booking.com。国内与航空公司、OTA平台都有合作,现在在中国积极推进本地化,为中国用户提供优质的订房体验。更多文化介绍,请参看 “和130多个国家的人在一起工作是怎样的体验” 这篇文章。