专栏名称: Hi科技你好
创建于1997年初的Chinabyte比特网是中国第一家IT互联网媒体。汇聚高端商业人群,紧跟IT行业趋势,为用户提供全面、专业的报道和观点。
目录
相关文章推荐
51好读  ›  专栏  ›  Hi科技你好

【CIO早班车】解读大数据的奥秘

Hi科技你好  · 公众号  · 比特币  · 2017-08-01 10:56

正文


本期主讲嘉宾

陈赟
IBM大中华区大数据架构师



陈赟是IBM 大中华区资深大数据架构师,在多地地方政府担任大数据专家组成员,在电信、金融、制造等领域,对大数据、数据库、数据仓库和BI有深刻的理解和丰富的实战经验,精通大数据分析涉及的主要技术和算法,包括Hadoop、Spark、机器学习、BI分析、数据仓库、数据建模等。


暂停几分钟,工作更轻松。

当我们讲到所谓的“大数据”,如果我们根据字面意思的理解,那么“大”就是他的最大属性。但怎么去理解这个“大”才更准确呢?

在业界,不管是IBM还是其他的厂商,基于多年的行业实践经验和技术发展趋势,大家对大数据有如下四个特征的描述,即Volume、Variety、Velocity和Veracity 这4个“V”。所谓Volume,其实很容易理解,要突出的就是数据量的多,也就是我们经常会说到的海量数据;Variety在上一期分享中也提到过,就是新形式的数据,比如说非结构化的社交媒体数据、图片数据和影像数据等;Velocity突出的是数据的时效性,例如实时的数据可以给针对性营销更多的线索和导向;最后一个特性就是Veracity,突出大数据能够准确的描述和预测业务趋势性的发展。所以说,所谓“大数据”,不仅仅要考虑数据量的大小,还需要考虑最起码另外三个方面的特性。

在上述的四个V中,哪个特性更加突出,更加需要重视呢?答案是,这四个特性都很重要。今天我们先聚焦在Velocity,即数据的实时性。这是大数据应用的一个难点。首先让我们回顾一下,之前我们做数据仓库进行数据分析,由于技术的限制,我们实际上使用都是历史数据,其最大的特点就是都是已经发生的数据,通常是T+1的模式,即最新的数据也只到昨天为止。例如零售行业的订单信息、银行的存贷款记录、电信行业计费和账务信息。而实时数据代表的是正在发生的业务动作产生的数据,比如电信运营商所拥有的每个用户当前的位置信息、车联网企业收集到的汽车运行的实时状态信息、信用卡实时交易的信息等。单一的基于历史数据的分析能够给我们的企业带来一些有价值的洞察力,但往往错过了最佳的时机,比如说营销错过了最佳时间点,成功率就会下降,欺诈检测错过了时机,机会造成巨大的损失。因此,在大数据技术的发展和推动下,现在更好的大数据分析模式就是把历史数据和实时数据进行有机结合,这样可以给企业客户带来更有价值的业务洞察力和更多的业务创新点。

所以说大数据应用的Velocity,就是指能够实时地处理正在发生和随时变化的数据,也就是所谓的“hit the moving target”,一旦数据处理晚了,其结果可能就没有意义了,就这是大数据最挑战的地方之一。我可以给大家介绍一个典型的行业场景,说明实时数据是如何帮准电信运营商进行针对性营销,促进新数据业务的推广以及提高客户的满意度。

用户张女士和王先生都是某电信运营商客户,他们今天上午10点都出现在北京首都国际机场。那接下来我们就看一下,电信运营商是怎么通过历史数据和实时数据的结合进行针对性营销。首先通过基站信息,电信运营商获取了张女士和王先生的位置信息,他们都处在T2航站楼。接下来,通过对历史数据分析,王先生几乎每天都来机场,也去火车站,王先生的通话都是本地通话,而且通话时长都很短,数据流量也都是本地流量,因此得出结论,王先生肯定不是商旅人士,他天天奔波于各个交通枢纽,很有可能是出租车司机;同样,对于张女士,运营商也进行类似的分析,发现张女士几乎每周都出现在不同的城市,飞机是他的主要交通工具,她的通话基本都是长途和漫游,国内和国际都有,通话时长很长,推测可能是电话会议,上网流量也基本上是漫游为主,因此得出结论,张女士是典型的商旅人士。有了上述的推论之后,运营商就会进行针对性营销,向张女士和王先生推荐不同的产品。例如,会给张女士推荐全国通话(流量)漫游套餐、酒店机票增值服务、航班延误险等增值产品;而王先生会收到本地通话(流量)套餐推荐、航旅纵横APP下载推荐以及市内交通拥堵APP推荐等。







请到「今天看啥」查看全文