2020 年,疫情的出现,不仅让人们正常的生活和工作状态经常被打断和改变,而且人类未来可能要学会与疫情常态化共存。疫情的出现也加速了国内企业的数字化进程,比如,企业原来的营销方式主要靠线下,但疫情的常态化迫使企业更多依赖数字化的方式。
在数字化进程加速的当下,互联网也已经从流量时代进入留量时代。流量时代是一个增量时代,“互联网的渗透率还未饱和,还有人口红利,大家总觉得永远会有新用户”。而留量时代则是一个存量时代,几乎没有新的增量。两者最大的变化在于“老的流量时代是一个增量思维,新的留量时代是一个存量思维”。易观 CEO 于揚表示,“在新的留量时代,对每个企业而言,如何构建和运营好自己的核心数字用户资产,我觉得这是最大的挑战,也是最大的机会。”因此,对易观来说,当前最主要的是用好数据,帮企业解决问题,抓住机会。而过去,它们只是帮企业发现问题,指出行业发展趋势。
在 10 月 23 日的“A10 数据智能峰会”上,易观战略全新升级,正式公布两大业务线:聚焦数字用户洞察的易观分析,专注智能用户运营的易观数科。简言之,易观分析是帮企业发现问题,指出发展趋势,而易观数科则是帮企业解决问题,抓住机会。易观 CEO 于揚表示,“易观的使命是让数据能力平民化。易观数科更希望通过技术、产品和解决方案来赋能企业,提供工具和优质服务,再加上客户至上的服务态度去帮助客户在数字化升级中做好数据驱动。”
从帮助企业发现问题到帮企业解决问题,这对易观数科来说是个不小的挑战!
易观大数据成立于 2012 年,虽然从成立第一天起,就是一个产品和技术驱动的科技公司,当时的主要业务还是业务咨询和行业分析。
因此真正去帮企业解决问题时,你要跟客户的业务流程和业务系统打通第一个挑战就是技术。
对于这个话题,郭炜是最有话语权的。他 2016 年加入易观,此时易观主要做业务咨询和行业分析。
当时,易观有一款分析产品,叫易观千帆。它通过与众多数据合作伙伴的合作,构建了基于统计算法的大数据分析平台,分析 APP 用户活跃度。据郭炜介绍,易观千帆最初月活只有 1000 多万,但业务发展快,数据量快速增加,很快逼近两亿。而此时,公司的技术状况“堪忧”,总共有 30 多个技术人员,产品主要依赖阿里云,使用 Apache Hadoop。但是,问题在于整个 Apache Hadoop 生态的技术门槛很深,“很多东西要花两三个月修改,才能把它做好”。他说:“我们当时在 Apache Azkaban 上有几千个任务,经常在晚上死掉,我们被折磨得不行了,后来开始自研。”
总之,平台非常不稳定,不仅宕机,还老出各种问题。
“天天加班,回不了家,好不容易回了家,任务在半夜又挂了。那时,我天天晚上三四点被叫起来处理问题,没法睡觉。”郭炜补充说。以至于,团队用上自研的 Apache DolphinScheduler 后流行几句话——工具选得好,下班回家早;调度用得对,半夜安全睡。
刚到易观的第 6 个月,郭炜过生日,“这一天,老于(于揚)把我叫到办公室,说你来了六个月,很感谢你的工作,但你看我们现在这个平台还是不稳定”。
技术团队感觉压力非常大,为了改善现状,做了这么几件事。
首先,对 30 多人的技术团队进行大幅调整,只剩 8 个人,然后,进行了团队重组。“有时候,团队成员还不够快,有的技术人员跟不上,就需要重新调整团队”。
其次,在技术路线上,始终坚持 Apache 生态。在郭炜看来,当时的技术路线第一是拥抱开源,拥抱 Apache 生态。他说:“Apache 的东西跑起来不行,当然,你也可以用商业版,比如 Cloudera,用完就能解决问题,但有两个问题:一是它有商业版权,如果要用,需要付费;另一个是与我们公司的理念相冲突,我觉得拥抱开源才能进一步提升我们自己的技术人员能力。”并且,在他刚到易观时,公司主业还是业务咨询和行业分析,因此如何积累自己的技术能力和技术实力也就成为郭炜考虑的重要因素。
因此,易观技术团队不仅基于 Apache Hadoop 生态研发了一些性能优化的东西,而且自研了 Apache DolphinScheduler。这样,平台的性能和稳定性得到不断提高,为现在的技术平台奠定了基础。
随着团队技术人员成长了起来,而且积累了不错的技术实力,这才有易观现在的技术,易观数科才有可能出现。同时,为打造更稳定、更可靠的平台,易观也从公有云转向混合云。
2015 年到 2016 年时,易观使用公有云(阿里云)。后来,易观开始采用混合云,”把它变成实体机,用 Apache 的框架给跑起来,用了 Pivotal Greenplum,加上 Hadoop 去解决一些业务上的问题”。在这一年,易观先后迁移了两次:
先从阿里云迁到自建的混合云,他们找到一家供应商,买了一根光纤,从阿里云连到 UCloud。后来,UCloud 推出自己的混合云,易观租用它的机房,将自己的机器搬进去,又做了一次迁移。两次迁移结束后,平台基本稳定下来,“一直到现在,6.8PB 大数据平台都在 UCloud 的混合云里”。郭炜对 InfoQ 记者指出,易观这样既可以使用公有云的弹性扩展能力,也能充分利用物理机的稳定性。
迁移两次,虽然问题不少,但是也锻炼了团队,把易观数科的技术做起来了,“我们做的 Hadoop 集群非常稳定”。正是各种踩坑和磨练,让易观数科逐渐积累起自己强大的技术能力。易观数科的核心技术能力源自易观的大数据平台,6.8PB 大数据平台中大量的计算引擎的优化,大量的调度,还有从中孵化出的 Apache DolphinScheduler。“把原来内部使用的技术,以产品的形式打包,变成一种商业化的产品,比如易观方舟,最终赋能我们的用户“。
对易观而言,这只是迈过了技术关。接下来,他们需要把自己对业务的理解和技术相结合变成客户能使用的产品,因此易观数科需要跨越产品关。这就带来两大挑战:第一,私有化部署。很多人在过去认为大数据平台越大越好,但是,一旦到了私有化部署,优化的方向就有所不同。实际上,这个技术门槛挺高。“我们做到了,但很多友商费了半天劲也没做出来,因为这不仅要对底层横向的平台进行优化,而且对计算的性能要求很高”。
第二,适配场景。易观原来的产品主要供内部的数据分析师使用,场景比较固定。但是,当产品向外提供,如何去支撑客户的业务场景?据郭炜介绍,他们通过产品抽象出 12 大模型,赋能客户。“最开始,我们调研了一圈,提出一个很重要的架构,叫 IOTA 架构”。从 IOTA 架构中,从里面核心抽象出三个主要数据模型,被称之为主谓宾模型,即主语、谓语和宾语。基于这些模型,去适配易观跟用户相关的所有场景,“它是通用的”。基于模型之外,根据客户的需求去适配,系统将客户的场景归到哪一种或模块下。“如果都不合适,我们再新建一个模块去适配它。当然,我们的模型也会变,有时候增,有时候减,逐步去适配我们客户的使用”。
最重要的一点是易观数科有着开源和云化的基因,因此产品的开放性很高。据悉,某头部股份制商业银行使用易观数科的产品,融合到系统中非常顺利,受到双方一致好评。郭炜称,“我们的最终目标是赋能客户,即把我们的系统融合成客户系统的一部分,赋能客户的业务部门,一起把这个事做好。”