10+年的大数据从业经验
对数据仓库，数据可视化，机器学习都有研究
坚信未来10年是AI的年代，正如互联网一样，AI也将从方方面面改造整个社会，对人类的生存方式产生极大的影响
出品|中国统计网（ID：cntongji）
嘉宾|孙晓军
采访|赵良
审核|赵良
编辑|惊渡
Q1： 您好，孙总。作为流量分析经验丰富的前辈，您能否说明一下流量分析工作的重点和落脚点，以及流量分析在职业当中扮演的角色？
孙晓军：从业务角度出发，以电商流量分析流程为例。某用户进行网络购物，从进入网站开始，每一步操作都处在流量监控之下。漫无目的进行浏览的用户对哪方面的内容更感兴趣，点击了哪些页面，这些页面对用户的吸引点在哪里，可以通过流量分析来了解。另外一部分带有很强目的性的用户，直接搜索商品，之后将商品加入购物车进行购买，最终成功支付，这整个就是网站的购物流程。
流量分析的第一步，进入网站之后用户可能到达首页或者某类活动第一个页面，我们需要了解哪些页面和内容能吸引用户，比如首页各个功能模块使用量怎样，这涉及到站内流量的分发分析。关注用户搜索的内容，就是站内流量分发的结构。用户到达网站首页后，进行了哪些活动，在网站上是如何浏览的？如果没搜索，直接进入了活动页，那这部分人又做了什么事情，点了哪些页面，在哪些页面流失或者跳转了，或者在哪个页面下单了，这就是站内分发的分析。分发之后，以让用户找到想要的单品或用某件商品去吸引用户下单购买为分发目标，最终把用户转化成交易。通常可以这样分类，广告、百度这些向外的渠道是外部渠道，而搜索、CMS这些可以归纳为站内渠道。我们需要同时关注外部和站内渠道的效率，分析哪些渠道转化效率高，哪些页面转化得好，这是网站内部流量分析的一个关键点。
第二步是基于内部流量分析去做运营，接着是用户在网站内的分发，最终进入生成页，到了生成页之后进入第三步，即商品转化。商品转化文案因素比较多，典型的有价格、文描或活动，此时用户已对所需商品产生兴趣。怎样通过某些手段把他的需求进行转化，就是我们的要求。可以通过打价格战，以低于他人的价格进一步吸引用户。如果这件商品并非用户刚需，此时就要打心理战，去挖掘用户的潜在需求，把潜在需求成功转化。此时进行第二个动作，以促销为例，促销活动何时结束，低价持续多久，通过这些信息给用户制造紧迫感，促进商品转化，这就是营销手段，目标是争取让用户把商品加入购物车，最后下单购买。
下单这一步我们无法介入。如果一个网站做得比较完整，它整个过程会比较流畅，不会让用户在这一步流失。如果网站的体验不够好，地址填写不方便，或者用户没有找到合适的付款方式，造成用户流失，就需要优化下单流程。大部分情况下，本身没问题，这就不是障碍，但确实有些网站这方面做得不够好，要区别看待。这就是我们讲的第三步。
第四步即用户进入到商品页之后，加购物车，进行下单且成功支付，此时整个流程已结束，接下来考虑配送问题。比如说，配送时效怎样，用户签收后会有反馈，反馈之后的好评率如何，这是对各项服务的一个评价，也是一个完整的流量分析方案。流量分析从业务角度出发的流程大部分就针对这四步进行。
Q2： 从技术角度来看的话，我们需要做哪些准备？比如说，对前期的埋点，技术架构，数据仓库架构，这整个流程您能简单说一下吗？
孙晓军：首先要埋点，把用户在网站上的访问记录记下来。用户浏览会产生日志，我们把日志转化成文件格式，再把这些文件转化成数据库的表，这就是最原始的表。
其次，最原始的表流量数据会比较大，把这些表转化成应用表，之后可能会做一些数据报表，如果是一个数据团队，把这些报表做成一个数据产品即把记录的用户行为放到日志表，进行处理产生数据报表或数据产品，这就是数据团队做的一个产品划分。
另外，从技术架构上讲比较多样。用户产生的日志会被放到消息队列里，消息队列的消费端会产生日志文件，接着把日志文件转化为数据仓库的表，再生成应用层的数据表，再把这个文件下载到报表，运用不同的报表分析工具，或开发一些可视化页面，来呈现这些数据。
Q3：在整个流程当中，您觉得从技术架构来说，哪一块比较难或者操作难度较大？所有报表出来之后，是做成数据分析或者数据产品的，对于数据分析师来说，怎么利用现在的数据跟业务相结合，来推定或制定各项策略？
孙晓军：关于技术实现难点，我认为开发不存在什么技术难点，数据技术行业基础比较成熟，最核心的问题可能是实际操作中发现的问题，比如埋点规范是不是制作得好，进行合理的埋点是很重要的一步。埋点规范做好以后，在处理数据的过程当中，可能会产生由第一个问题衍生的埋点规范不符合期望的现象，意味着在数据处理过程中依旧存在很多困扰。我们只能花较多时间清理掉错误数据。这个难点我理解为埋点规范是否标准，是否严格遵守。第二点，数据量大的时候，怎么去处理它。现在数据仓库的技术比较成熟，这块我觉得相对来说好一点。但数据量大的时候可能会带来第三个问题，即查询的时候怎么处理。比如说做报表的时候，是针对每一个问题去做报表，还是做一个类似于自定义查询的报表？通过这个报表做查询，怎么去做预处理，处理好以后，再给用户做一些不同切面的分析，这就涉及资源配置。资源有限，用户需求无限，怎么合理分配可能要预先考虑。怎么去满足用户最重要的需求，这是我们需要思考的一个技术难点。
第二个问题是怎么去跟业务沟通，把数据产品或者数据价值进行落地。我认为就目前而言，问题不大。现在业务人员越来越具有数据化思维，刚开始可能就要看销售，看结果式表，这很正常。比如说我看你今天GMV多少，毛利多少，销量多少，订单量多少，所有业务，所有运营人员，他们第一眼关注到的可能就是这个结果。但如果说他们要对这个结果进行优化，这就是流量分析的过程，怎样把流量转化的效率提升。从业务角度讲。今天KPI指数100万，怎样把它提升到110万或者120万？采取降价的手段，即促销。此时需要分析促销为什么会产生效果，原因是促销提高了流量转化效率。我们来往的用户其实没变，但因为价格降低，流量转化效率提升了，所以产生了更多的销量。这时业务就要去找分析人员，分析需求可能就开始了。我去外面投一个广告，告诉别人我这里有这个产品在卖。结果就是有更多的人来，转化率可能降了一点或者没变，但因为基数大了，所以结果也会好。此时这两个方向就是最原始的业务。
总结起来，业务要做精细化运营，一定会关注流量，那业务分析师就可以介入了。大部分情况下，业务已经有这种思维了，如果没有，分析师还要通过一些点去了解这些东西。比如说跟业务沟通，最近销量涨了或者跌了，是什么原因导致的，我们来帮你分析一下，流量没变，但产品转化率下降了很多，下降原因是什么，缺货还是价格高了？此时如果告诉他发生了什么，你其实就介入业务的第一需求了。这是分析师能做的事情，因为对于业务，要知道今天的销量涨跌，但最好知道涨跌的原因。如果说分析师能够告诉业务这一点，业务对这个流程就会多一些了解，也会对流量非常感兴趣。业务永远关注一点，怎么做最大的销售，你告诉他怎么去做，尤其在现有资源条件下，流量固定，人固定，他怎么去提高转化率。
例如对于网站操作不熟悉的这部分人，业务分析师怎么去把这部分人找出来，告诉运营人员有这样一部分顾客可能存在这个问题，是由于产品没有暴露出来，还是介绍不够明确？另一方面，有需求但得不到很好满足的这部分人，可能搜索时输入了错别字，找不到自己想要的东西，针对这种情况需要优化关键字或别名，提升这部分人的转化率。还有针对一部分习惯于做价格比较并选择价低的商家进行购买的人，此时价格上是否需要优惠？流量分发是针对每一个客户做细分的形式，把每一份流量都用到极致，来提高转化效率。所以分析师首先要去加入业务的点，嵌入业务的需求，去提升业务的效率，发挥流量最大的价值。
Q4：流量分析是否会优化整个业务的流程？
孙晓军：对的，只要抓住业务需求并且呈现数据价值。比如我们考虑用户搜索某个词，但没有搜到想要的商品，那就要针对这个商品配一个关键词，或者在关键词里做一些配置，让人能找到这个商品，这就是效率的优化。或者说我发现支付成功率非常低，那这时可能会优化支付方式，也是一种效率优化。分析师就是帮助业务发现问题，然后推动产品优化或者运营的优化。这个时候就自然而然地对网站或者运营产生了一些优化。
Q5：在流量分析的工作当中，所遇到的问题，您认为是来自技术上还是工作流程中的呢？
孙晓军：两方面都有。首先大部分呈现的业务成熟度是在逐步提升的，或者说，现在大家都有流量分析的思维，会看一些相关的数据。但如果面对的是一个比较传统的企业，可能就会出现问题。开始我们说他只关注结果，那怎么去把流量关注的最大价值发挥出来，其实业务的思维也需要不断更新，这是一个潜移默化过程，甚至有时候需要从上到下的推动，因为大部分转化业务中的人会有这种思维，怎么去推动，做几个case出来之后就会容易很多。
其次从产品角度来讲，如何把数据化产品做得简单、高效、直接，这对我们而言是一种挑战。数据做好之后怎么去呈现是一个问题，有些产品员可能阐述一个产品会用很多的报表，但其实这不应该，做一个阐述应该用产品。所以产品的标准之一就是简洁高效，让人看了之后能够简单运用，这对我们而言就是挑战——把数据做好之后如何去呈现业务逻辑。
Q6：对于一般企业来说，传统转线上，或者B轮以上这类公司对于流量分析的要求马上就要提升。您觉得对这类公司来说，哪些工具比较主流？做流量分析，对企业而言，人员配置怎样才符合要求？
孙晓军：对行业内而言，建议采购一些成熟的现有的BI工具，或者流量采购工具；
人员配置视情况而定。如果说技术方面有投入的话，可以投入一部分技术人员做仓库这块。对于产品作业配置一个分析师就够了。
Q7：那对于开发这一块需要哪些配置呢？
孙晓军：如果要配置自己的数据团队，首先必备一个架构师。架构师包括两个职能，一个是系统的架构，一个是数据仓库架构；另外需要开发工程师，如果是数据产品的开发，还需要一个JAVA开发。产品这块的话需要业务分析师来收集需求和设计数据产品。
Q8：最后能否请您用一句话，描述一下流量分析对于一家企业的意义在哪里？
孙晓军：数据对于一个企业的意义在于它是一个企业的情报站，一个企业雷达，流量数据就是企业效率提升的最根本的一块。
非常感谢孙总的分享！
本文经受访者确认发布
本文为中国统计网原创文章，需要转载请联系中国统计网（小编微信：ishujiang），转载时请注明作者及出处，并保留本文链接。
数匠往期专访回顾
