A/B 测试是互联网产品常用的决策辅助机制,产品设计者把不同的方案安插到随机的测试中,通过用户的行为数据来判断哪组方案更好。
我第一次在自己的产品上做 A/B 测试,是需要决定行动按钮上的文案,具体细节记不清了,类似「立即下单」「加入购物车」「购买」「马上购买」之类。
当时的方案设计很虎,没有成熟的 A/B 测试框架可以套用,就是随机出文案然后通过日志查看转化率差异。测试上线之后我每天睡前和起床后第一件事都是去看数据,好像在等待谜底揭晓,那个体验至今还记忆犹新。
我记得最后胜出的文案是带有强烈动作趋势和获得暗示的那一组,有趣的是,刚开始测试的时候我很担心结论数据会不分伯仲,但结果是胜出的那个方案数据表现非常突出。
后来才逐渐了解,靠谱的 A/B 测试不是靠撞大运,而是有套路的。实验结论的显著性也是衡量实验设计合理与否的一把标尺。
随着行业发展,在 A/B 测试领域有了越来越多的框架和理论,决策速度和有效性越来越高,但入门门槛似乎也高起来了。今天给大家推荐的课程,是在美国一线互联网企业的数据科学家
张博伟
老师关于 A/B 测试的专题内容。
内容从 A/B 测试原理到框架搭建,还包括具体的落地实践。看完目录和介绍,我的第一个感慨是……要是这个课程早几年就好了,至少会让自己少走很多弯路。
推荐给各位,感兴趣可以了解,以下是张博伟老师做的课程介绍:
这两年,字节系的产品呈现爆发式增长,忽然有一天,你发现身边的朋友都在用字节的产品,比如抖音;认识的前同事不是在字节,就是在辞职去字节的路上,这家公司也因为疯狂扩张被戏称为“宇宙条”。
字节成功的秘诀到底是什么呢?36Kr 曾在一篇报道中写道,“头条发布一个新 APP,其名字都必须打 N 个包放到各大应用市场进行多次 A/B 测试才能决定。张一鸣告诉同事:哪怕你有 99.9% 的把握那是最好的一个名字,测一下又有神马关系呢?”
为了帮助提升创新产品的成功率,头条内部甚至研发出了一套增长引擎,当你还在纠结功能按钮排序时,
他们已经同时进行几十组甚至上百组的 A/B 测试
,帮助产品经理和运营们找到最优的方案。
大数据时代,每个公司都在说数据驱动产品和业务的快速迭代,这其中最重要的体现,
就是它的决策流程中,有没有 A/B 测试这一环节,来提供值得信赖的结果,辅助产品决策。
就好比一个刚刚研制成功的药品,不经过临床实验就直接推入市场,去治疗病人,那承担的风险是非常高的。因为这样不仅可能无法治愈病人,甚至还可能会产生严重的副作用。这么一想,你是不是就体会到论证的重要性了?
而 A/B 测试,就是保证这个关键环节不出现问题的最佳方案。
讲到这里,你可能会比较好奇,用 A/B 测试,到底可以来解决什么具体的业务问题呢?看下面我给你总结的表格。
正因为发现了 A/B 测试在产品迭代、算法优化、市场营销等领域的巨大作用,越来越多的公司开始使用 A/B 测试,对人才的需求量也越来越大。无论是偏技术的
数据科学家、数据分析师,
还是偏业务和
产品的市场
营销分析师、产品经理以及增长黑客
,都需要在工作中掌握和应用 A/B 测试。而且从我多年做面试官的经验来看,
A/B 测试也是这些职位面试中必考的一块内容
,重要程度可想而知。
A/B 测试的难点在于,这是一门实践性极强的工具,如果你只有理论基础而没有实践经验,那么实践过程由于业务场景千变万化,可能就会有各种各样潜在的陷阱在等着你。只有兼顾了理论基础和实践经验,才能得出值得信赖的测试结果。
为了能帮你快速且扎实地掌握 A/B 测试这门手艺,我梳理了一套最佳学习路径,如下图👇
这套 A/B 测试体系学习路径,是我作为一名资深数据科学家,根据在美国硅谷科技巨头工作的这些年的经验总结而成的。我想把它毫无保留的分享给你,让你掌握并应用好这个工具。因此,我和极客时间合作了《A/B 测试从 0 到 1》这门课,
我会先带你建立起一个做 A/B 测试的框架,让你在应对不同业务场景时,都能通过框架来按图索骥,灵活运用。
我叫张博伟,从毕业后就一直在美国互联网大厂 FLAG 工作,目前是一名资深数据科学家。在过去的 7 年多时间里,我一直在做 A/B 测试、机器学习建模、大数据分析的相关工作。
我曾参与从设计测试、实施测试到最后分析测试结果的全过程,后来逐步在团队中主导 A/B 测试领域的相关工作,开发相关数据产品,还和工程团队合作来改进内部的 A/B 测试平台,
通过持续的 A/B 测试为公司的新业务带来上百万用户的增长
,也为数据分析、营销和产品团队提供数十场 A/B 测试的讲座和上百次的咨询,讲解 A/B 测试的最佳实践以及避坑经验。
在我多年的数据分析实践中,我越来越觉得,A/B 测试是促进业务持续增长的最实用、最有效的方式。
我结合我的从业经验,从统计原理、基本流程和进阶实战三个层面,为你梳理出了一条学习 A/B 测试的最佳路径。
想要做好 A/B 测试,统计原理的学习不可或缺。
我精选了与 A/B 测试密切相关的统计理论,主要讲解 A/B 测试的理论基础 - 假设检验,以及 A/B 测试指标的统计属性这两块知识
,让你有针对性的学习理论知识,真正打好做 A/B 测试的理论基础。
在这个模块,我梳理了做 A/B 测试的几个关键步骤,包括确定目标和假设、确定指标、选取实验单位、计算所需样本大小,以及分析测试结果。我会在讲解流程的同时,也告诉你背后的原理,帮助你在实际应用时能举一反三。
想要让做 A/B 测试的技能更上一层楼,你还需要能够识别那些在实际业务场景中潜在的坑,掌握相应的解决方法;了解 A/B 测试的适用范围及替代方法;同时我也会带你掌握面试中关于 A/B 测试的常见考点及应对方法;手把手带你制作实用的样本量计算器,来解决网上工具参差不齐、适用范围有限等问题。