今日头条丨一点资讯丨腾讯丨搜狐丨网易丨凤凰丨阿里UC大鱼丨新浪微博丨新浪看点丨百度百家丨博客中国丨趣头条丨腾讯云·云+社区
十年前,全球市值最高的 Top10 公司大多来自石油、银行、汽车等传统行业。而十年后的今天,亚马逊、Facebook、阿里巴巴、腾讯等一跃超过了十年前排名第一的艾克森美孚。不难发现,数据是这些企业的核心资产。
大数据可以帮助企业制定切实可行的战略规划,获取客户洞察,支持客户购买行为,并构建新的业务模式,进而赢得竞争优势。成功的企业数字化案例显然有自己的共同点:重视数据质量、重视数据上下文、以及建立有效的数据管理体制。而失败的企业则各有各的问题。
今天我们就来一起看企业数字化转型中普遍存在的问题。
数据整合是当今数据分析面临的最大挑战。实际上,许多公司只是简单地将数据堆积在一起,并未对不同来源的数据进行整合。就拿身份认定来说,比如一套系统下「路人A」的信息与另一套系统下「路人A」(甚至可能是重名)的信息之间,没有进行关联,这样的话,就无法对「路人A」的身份进行完整性描述。数据整合并不等于将数据集中到一起,对于研究对象,要将不同来源的数据相互关联,以便获取更准确的信息定位。并且数据科学家会通过数据来寻找并分析竞争优势和可能的企业新突破点等等,因此,数据整合也变得越发重要。
整合的集成数据技术对于一个成功的分析程序是至关重要的,必须要意识到不同业务部门对数据的需求是不同的,数据的形式不能千篇一律。相反,还需要考虑数据供给,IT 部门需要将业务类型与数据形式相匹配。并不是所有的业务都需要整合过后的数据。以金融机构的众多需求为例,风控部门需要未经处理的原始数据,以从中发现异常。比如通过搜寻多组数据中某个人地址信息的,确定其是否申请了多笔贷款等。另一方面,诸如市场部等部门希望实现准确的用户信息定位,因此只需要其中正确的那组数据。
数据科学家这个职业在过去几年中正迅速抢占硅谷、纽约、中关村、西二旗的各大互联网公司。一大批传统企业也开始设置这个职位,并且大批招募。毕竟,每个公司都希望通过势头正盛的新兴技术使业务分析具有一定的预测性和分析说明,这需要专业团队和人员的支持。但通常,这些公司挂出的招募岗位只有数据科学家这一种。这是远远不够的。数据科学家需要数据工程师来收集数据集,但是,数据工程师这一职位,在许多公司没有受到应有的重视。近十年来,随着数据存储成本不断降低,IT 部门可以将大量数据存储起来,并保存很长的时间。对于不断增长的数据量和数据分析需求来说,这是个好消息。公司都希望拥有大量数据,但许多企业都将数据留存的过久。这不仅仅是存储成本的问题,超过十年的数据基本没有时效性了。数据要被赋予生命周期。数据留存期限要根据不同部门、不同组织来确定。例如,零售行业需要的是即时和相关的数据,而市场部门需要多年来的历史数据以探寻趋势。这需要 IT 部门根据不同部门的需求,制定一套明确的数据时效标准,从而确保数据的有效性。
数据分析师总喜欢用最容易获得的数据进行建模与分析,而不是最相关的。这是目前公司或组织普遍存在的一个误区。或许,在寻找更多的数据集之前,应该先想想数据是否相关,而不是询问我们是否有正确的数据。