在工作中,无论是设计师还是产品经理都会广泛接触到大量用户和商业数据,如何正确的理解及使用数据,是每一个互联网工作者的必修课。通过对数据的洞察和解读,可以帮助我们发现产品的问题,了解用户的需求,挖掘商业发力点。
这次的文章不会系统性穷举数据类型和分析手段,但希望通过一些基础数据的理解,帮助初学者消除误区,打开思路。
首先来几个简单的,对于指标定义的误解。
1、GMV 不代表利润或盈利能力
GMV(商品交易总额 Gross Merchandise Volume)通常是电商平台最核心的数据指标,如每年的双11,各大平台最受关注的也是 GMV。
值得注意的是,GMV 并不等于利润,仅仅表征在产品上的销售额,真正计算利润是需要减去成本的。因此,我们也不会单纯因为 GMV 的高低就判断两个平台的盈利能力。
2、每日/月的 UV 不等于 DAU/MAU
UV(独立访客数 Unique Visitor)同样是产品的一项核心数据,但并不是每一个 UV 都是有效的、可转化的,因此不同产品会定义不同的门槛,如有超过三次点击的用户会被记录为一个活跃用户(Active User),而常见的日活(DAU)、月活(MAU),就是指每天和每月的活跃用户数。
根据不同产品的特点,甚至是同一个产品的不同时期,活跃用户的定义都会有变化,这需要尽早确定,以免数据被错误使用。
3、模块点击率不是(模块点击量/页面总 UV)
CTR(点击通过率 Click-Through-Rate),我们常说一个页面或者一个组件的点击率,但不少人并不明白点击率真正有价值的定义。
尤其针对模块和单个组件,常有人将点击率定义为(模块点击量/页面总 UV),殊不知由于手机屏幕长度有限,不同模块被用户看到的概率是不同的,除以总 UV 自然就不正确
。
实际应用中,CTR = Click / Show content,即点击次数除以看到模块的用户量,有时候也称曝光点击率。更进一步,由于分母选取的不同,还有 UV 点击率和 PV 点击率之分,会有细微的使用差异。
定义了解清楚了,就提升下难度,对指标价值的理解偏差
4、PV 不是越高越好
PV(页面访问量 Page View),值得注意的是,一个用户在页面中的每一次点击都会累加到 PV 上,因此单看 PV 的高低并不能真实反映页面的效果。毕竟,大量点击可能代表用户对内容感兴趣,也可能表示用户在进行低效的盲目浏览。
5、停留时长不是越长越好
平均停留时长代表用户在一个页面停留的时间,通常认为停留时长越长,表示页面内容对用户越有吸引力、用户越喜爱。
但事实上,对于很多效率型产品和工具,花费时间长未必是一件好事。就拿商品详情页来说,花费了更多的时间如果不能带来更多的购买,只能代表效率低下。
6、高点击率可能带来副作用
通常我们认为,通过测试发现两个组件的(曝光)点击率有高低之分,表明组件对用户的吸引力不同。事实上,仅仅看单个组件的点击率也并不客观,如果一个组件的面积大、高度高、视觉优先级高,当然就更容易获得点击。
但对应地,它是争夺了其他组件的曝光机会,对整个页面而言,也许它个体的效果更好,但对整体反而有害。
控制变量法是小学初中就会接触的实验方法,然而即便在大型互联网公司的数据测试中,也常常被误用。
7、未做到实验同时进行
严格 AB 测试需要保证两个实验组同时进行测试,因为不同月份用户习惯有差别、工作日和假期有差别、周一和周二有差别,甚至早上中午和晚上也有差别。
不同时间,页面的用户基数、展示的内容(如有个性化)、用户行为特征、网络状态都会有显著差异。因此,常常因为技术准备不足,运营直接分两天上线不同内容/模块测试得到的结果,说服力往往差强人意。
8、未设置对照组
如果你的产品日常有100万用户,当需要测试一个新功能时,用户应该如何分组?
为避免新功能造成太大的负面影响,测试用户数肯定不能太大,常见做法是随机90万用户一组,10万用户一组。
但科学的对照方式应该是80万用户作为正常A组,10万用户作为测试B组,另10万用户作为对照C组。实际数据比较时,将BC两组做比对。这样做的原因是,相同的用户基数才有说服力,才能避免基数过小带来的数据偏差。
9、用户群体的选择陷阱
在产品设计时,有时不同的功能会针对不同的用户群体,可能是男女用户之分,新老用户之分,有钱没钱之分,有没有时间之分……画像差异会带来行为差异。
在进行测试时,必须时刻紧盯数据到底针对的是不是你想要的用户,以及会不会对其他群体造成影响。最理想的情况,特定产品只有特定用户能看到,但实际上可能其他用户也能看到和使用。我就见过一个针对高消费层级用户的产品,对高消费人群效果良好,但对中低层级用户体验带来了极大损害,此时就要仔细分析它的利弊了。
因为用户行为是一个连续的过程,因此数据使用也要组合起来看,切不可盯着单独的数据研究。
10、关于高点击和低转化
如果前一个分流页面的点击率很高,但是后一个页面的转化率很低,这可能说明你成功吸引了用户的注意力,但没有很好地满足他们的预期。
就拿电商产品来说,导购层面我们优化首页、搜索和内容频道,有更多用户点击来到了商品详情页,但可能没有发生更多的购买。此时,就为设计带来了一个突破机会 —— 优化后续页面对前序行为的承接。