同时诞生于2006年,十年间云计算革了架构的命,那Hadoop呢?
Doug Cutting,在外界看来至少有两个称谓:作为技术大牛他是Hadoop之父,作为商业领袖他是Cloudera首席架构师。
近日,Doug Cutting来到北京,也因此接受了科技茱比莉的
独家采访
。过去的十年毫无疑问属于云计算和大数据。其中,Hadoop被认为是大数据领域的一个里程碑,它驱动了大数据的快速发展,还将深刻影响IoT和AI的走向。
这次访谈,茱比莉并没有请Hadoop之父去简单回顾Hadoop的发展,而是选取了与Hadoop一同诞生于2006年的云计算,看两者十年间如何“相
爱相杀”。至少在Doug Cutting看来,
Cloudera最大的竞争对手竟是云计算第一巨头AWS,更有意思的是,它同时也是最重要的合作伙伴
。
而展望下一个十年,Hadoop的代表企业Cloudera在2017年刚刚上市,作为开源企业在商业上的阶段性成功,
Doug Cutting认为Cloudera虽然尚未盈利但未来营收会超越Red Hat,因为大数据正和AI、IoT纠缠在一起
……
Hadoop和云计算什么关系?在技术上可谓互相成就,但在商业上Doug Cutting认为Cloudera最大的竞争对手与合作伙伴都是AWS。
2006年,Hadoop诞生。
它的原型是Nutch项目,初衷是基于开源创建网络搜索引擎并实现具备可扩展性和收缩性的数据技术,而当Nutch与谷歌论文的想法合体,Hadoop应运而生。
时至今日,Hadoop的发展也远远超出了Doug Cutting的预料——不仅成为大数据技术发展史上的一个里程碑,还组成了一个具备自我演进能力的、多种技术有机融合的、稳定而强大的生态系统。这也正是Cloudera应运而生的缘由。
2006年,云计算诞生。
它彻底改变了企业IT基础架构,也带来了新的商业模式。在Doug Cutting看来,
云计算使得Hadoop的应用更加灵活:
一,在本地安装Hadoop,用户需要部署大规模集群以支持不同类型的应用,并拥有统一的数据存储;而在云环境中运行Hadoop,用户可以针对不同的应用创建不同的集群,并按需对这些集群进行弹性伸缩,而且云服务商可以帮助用户管理数据存储。
二,从数字化转型角度来看,过去,IT往往只集中在企业用户的IT部门,但是随着云计算的普及,数字化在企业各个部门得到广泛应用,这意味着更多的非IT部门在IT应用中可以自我管理、自我服务。
然而,这并不意味着Hadoop产品的全盘云化。
Doug Cutting认为,云部署和本地部署两种交付方式都会长期共存:对于一些数据量较大,且自身IT资源和能力较强的客户来说,不少工作负载特别是像需要全天候永续运行的工作负载是放在本地数据中心上的,这样做更经济更实用,扩展性也更强。还有一些工作负载或者是数据,由于受制于法律法规的要求,必须要放在本地数据中心运行。
就Cloudera而言,三年前正式推出了Cloudera Director管理云环境中运行的集群。目前,云模式占到15%到20%的营收比重,并且会不断增长。我预计这个比例最终会达到40%到60%,但是不会到90%,也就是说本地部署模式仍然会是Cloudera企业业务的一个重要组成部分。”
而在谈到Cloudera的竞争格局时,
Doug Cutting出人意料地将AWS作为最大的竞争对手,但同时也是最大的合作伙伴。