【干货】从存储、实时、安全的角度谈如何建立完整可用的企业大数据平台

只有在能指导人们做出有价值的决定时，数据才能体现其自身的价值。因此，大数据技术要服务于实际的用途，才是有意义的。一般来说，大数据可以从以下三个方面指导人们做出有价值的决定：

1. 报表生成（比如根据用户历史点击行为的跟踪和综合分析、 应用程序活跃程度和用户粘性计算等）；

2. 诊断分析（例如分析为何用户粘性下降、根据日志分析系统为何性能下降、垃圾邮件以及病毒的特征检测等）；

3. 决策（例如个性化新闻阅读或歌曲推荐、预测增加哪些功能能增加用户粘性、帮助广告主进行广告精准投放、设定垃圾邮件和病毒拦截策略等）。

图 1

进一步来看，大数据技术从以下三个方面解决了传统技术难以达成的目标（如图 1）：

1. 在历史数据上的低延迟（交互式）查询，目标是加快决策过程和时间， 例如分析一个站点为何变缓慢并尝试修复它；

2. 在实时数据上的低延迟查询，目的是帮助用户和应用程序在实时数据上做出决策， 例如实时检测并阻拦病毒蠕虫（一个病毒蠕虫可以在 1.3 秒内攻击 1 百万台主机）；

3. 更加精细高级的数据处理算法，这可以帮助用户做出“更好”的决策， 例如图数据处理、异常点检测、趋势分析及其他机器学习算法。

从将数据转换成价值的角度来说，在 Hadoop 生态圈十年蓬勃成长的过程中，YARN 和 Spark 这二者可以算得上是里程碑事件。Yarn 的出现使得集群资源管理和数据处理流水线分离，大大革新并推动了大数据应用层面各种框架的发展（SQL on Hadoop 框架, 流数据，图数据，机器学习）。

它使得用户不再受到 MapReduce 开发模式的约束，而是可以创建种类更为丰富的分布式应用程序，并让各类应用程序运行在统一的架构上，消除了为其他框架维护独有资源的开销。就好比一个多层蛋糕，下面两层是 HDFS 和 Yarn, 而 MapReduce 就只是蛋糕上层的一根蜡烛而已，在蛋糕上还能插各式各样的蜡烛。

在这一架构体系中，总体数据处理分析作业分三块（图 2），在 HBase 上做交互式查询（Apache Phoenix, Cloudera Impala 等）， 在历史数据集上编写 MapReduce 程序抑或利用 Hive 等做批处理业务， 另外对于实时流数据分析 Apache Storm 则会是一种标准选择方案。

虽然 Yarn 的出现极大地丰富了 Hadoop 生态圈的应用场景，但仍存有两个显而易见的挑战：一是在一个平台上需要维护三个开发堆栈；二是在不同框架内很难共享数据，比如很难在一个框架内对流数据做交互式查询。这也意味着我们需要一个更为统一和支持更好抽象的计算框架的出现。

图 2

原文链接：

http://mp.weixin.qq.com/s/BKJrXMayFQET5v4A0mdM9A