对话【友盟+】李丹枫：每天处理百亿级事件，超大量级数据场景下数据团队如何健康运转？

大数据文摘作品，转载要求见文末

作者｜薛娅菲、魏子敏、卢苗苗

李丹枫称，合并后，【友盟+】覆盖的用户行为数据打通了PC、手机、传感器、无线路由器等多种设备。用数据具象展现：

-        覆盖125万个APP；

-        每天监测14亿移动设备；

-        每天监测680万个网站；

-        每天处理的事件数约280亿。

面对如此庞大的数据量，李丹枫坦言：第三方数据量级太大、覆盖面太广。面对全面打通的数据，【友盟+】的数据团队首先要解决的问题是：如何定义和实现用户行为数据的高效计算？以【友盟+】提供的风控业务为例，用户行为数据的量级大但数据深度浅，对于数据团队来说，在这种数据上做挖掘很有挑战性。同时，这项服务会承担大量的外部查询量。

首先摆在数据团队面前的是数据的全量更新或按需更新的选择。这个选择题经常出现在一个数据模型的训练和测试阶段。建模时不仅要考虑到基于不同层面的数据特征清晰地定义目标，还要考虑当模型成型后，所有的指标需要被有效地计算。如果数据科学家的决策是数据指标需要每天全量更新，每天将有几十亿个ID的数据回溯到数据训练的平台上，带来的是巨大的计算量和计算资源的占用。同时需要数据工程师协助数据科学家搭建有效的数据生产环境，保护计算的稳定性。因此，数据全量更新或按需更新的选择直接决定了存储和计算资源的消耗量，也就是成本。为此李丹枫博士为我们介绍了“代码健康度”的概念和评价标准。

“我们要让数据团队有这样的意识，一定要用最高效的方法来实现计算。尤其在数据体量巨大的场景下，差一点就会差很多”，李丹枫说到“比如说100亿个ID，如果每个计算能提高1%，能节省的资源是很大的。”对资源的消耗与公司的生存直接相关，作为CDO，李丹枫必须清晰地界定“高效计算”的评价标准，督促并激励数团队能够有效地使用数据。

【友盟+】的数据团队分为数据科学家和数据工程师，有不同的check point来保证“高效”。友盟对于代码有一套评价体系——代码“健康”度。里面囊括了经常出现的代码错误、模型的稳定性（对变量依赖程度的评估）、模型的可持续性（不同版本更新的用户体验是否顺畅）和对占用资源的评估。如果一个数据科学团队的代码连续三次被监测为“不健康”，他们在组织中的权重会相应降低。对于数据科学家来说，对业务的理解直接关系到在特征的实现，需要在建模的阶段定义好数据和好方法。“不要过分追求模型的极致表现。比如一个模型的表现30%都依赖于1~2个变量，在实验室里的表现可能非常好。在实际生产过程中，一旦这1~2个变量出了问题，可能整个模型的结果都废了，这显然是公司无法接受的。所以，数据科学家要时刻提醒自己：你怎么定义你的目标？”李丹枫说。对于数据工程团队来说，内部技术委员会对定期评价团队正在运用的技术是否有效。

【友盟+】能够运作起如此庞大的数据量，除了专注于对数据的高效使用，还有一个重要因素是合并时的数据整合，以及和阿里巴巴内部数据团队的合作。公司高层在合并之初发动了“五大战役”，从业务角度出发整合数据。经过半年时间确定了三大产品线，其数据团队也在此基础上重构成了三大业务模块+上层数据价值实现模块的结构。“我们希望用户在用我们产品的时候就像搭积木一样，把有需求的模块拼接起来使用。数据在其中是横向打通的。”李丹枫说。

整合过程中涉及了数据的融合和业务的融合。模块制的管理思路保证了其数据可以横向打通。在数据标准化及治理方面，【友盟+】全面借鉴了阿里巴巴的数据管理经验，针对每一个Business Unit迁移数据到One Data数据体系中。同时，将数据全部迁入阿里云，做到降低运维成本及数据安全合规。接下来，数据科学家们通过第一方账号打通和算法打通两种方式对数据进行识别。在数据资源打通后可通过第一方登陆账号，把来源多样的数据识别整合为同一个人的数据。而通过建模识可以实现在第一方账号缺失的情况下的账号打通。这样一来，用户在不同设备、不同账号中上留下的痕迹就这样被标准化整合，并在脱敏后成为商家提供决策依据。

【友盟+】高层合并的流畅性给数据团队和业务的融合创造了良好的平台。改组后的【友盟+】数据团队大致分为数据科学家和数据工程师两部分，分别负责数据价值实现和数据基础保障。“数据从业者太容易钻到自己的小圈子里去了。”李丹枫坦言。作为CDO，他需要把数据团队从小圈子里拉出来，激发团队的主动性和外向型。他鼓励数据团队一旦有了新想法，便去说服同伴，组成2~3人的小团队把这个想法实现出来。再自下而上扩展影响圈，不断完善想法，直至一个新数据应用场景的出现，变成产品。在他看来，数据人才还需具备：了解客户、发现需求的沟通力；说服同伴的领导力；批判思维的洞察力和实现想法的执行力。

激发团队贡献想法，驱动数据体现价值。这对李丹枫来说是使命感使然：“我做数据的时间比较长，回国后看到有些数据沉寂很多年，并没有利用起来。我是有使命感的。我希望根据我的经验来判断数据在哪些场景中可能比较容易地产生数据价值。‘先摘容易摘的果子’，激励团队挖掘更多的数据价值。”

回国前，李丹枫在美国从事了十多年数据挖掘和机器学习方面的工作，曾服务于雅虎，微软，FICO等多家领先科技公司。“我不认为在数据领域，美国比中国具有明显的优势。从数据团队的构成来看，我认为中美的差异也已经非常小了，美国的数据团队里有很多中国人。”李丹枫说到。

李丹枫认为数据人才不单需要有数据建模的能力。具体说来，他给了职场新人三条建议：

1.     Get your hands dirty。打好基础，去充分了解在你手上数据。不要只想着发论文，要放下架子，动手去清洗你的数据，了解你的数据。不要怕数据“脏”；

2.     让自己成为跨界人才、π型人才。工程方向的学生要补充数据知识，数据方向的学生要补充工程知识，工程和数据方向的学生都要补充行业知识；

3.     务实、主动、合作精神

后台回复关键词“友盟”，可获取【友盟+】招聘信息。

李丹枫，【友盟+】CDO，本科毕业于清华大学，后在美国伊利诺伊大学（UIUC）电子与计算机工程专业取得博士学位。毕业之后，在美国工作10多年，服务于包括雅虎，微软，FICO等在数据应用走在前沿的公司，积累了丰富的数据挖掘和机器学习的实战经验，所参与的产品在金融，保险，搜索，互联网广告及零售业中有广泛的应用。