如何低成本、高效率搭建 Hadoop/Spark 大数据处理平台？

随着人们逐渐认识到 「 大数据 」 的价值，互联网、电商到金融业、政企等各行业开始处理海量数据。如何低成本、敏捷高效地搭建大数据处理平台，成为影响大数据创新效率的关键。

为了让用户以最简便地方式享用阿里云全球资源，在云端构建敏捷弹性、高可靠和高性价比的大数据平台，近日，阿里云在成都云栖大会上发布了一款 Hadoop/Spark 场景专用的 ECS 存储优化型实例 D1 规格族，单实例提供最高 56 核 CPU ， 224GB 内存， 168TB 本地盘容量， 5GB/S 总吞吐， PPS 达 120 万 + 。

这对 Hadoop/Spark 技术爱好者来说是个非常大的福音，用户可以轻松在 D1 上搭建大数据存储与计算分析平台，尤其是互联网、金融、电商、政企等对大数据需求旺盛的行业。

据悉，在云端建设大数据平台的建设周期仅需 「 数分钟 」 ，比传统模式下缩短 95% 以上；项目建设成本从一次性重资产投入，变为轻资产分期使用，初期建设成本降低 80% 以上。

不妨一起来看看，相比传统的 Hadoop/Spark 场景解决方案， D1 都有哪些优势：

• 性价按需部署和弹性灵活

传统大数据平台有几个通病：建设周期过长，扩容不便，因此一般都会适当放大大数据建设规模，造成早期资源闲置浪费，也埋下了后期资源不足的隐患，影响业务发展。云计算很早就解决了弹性建设的问题，我们可以按需进行大数据平台建设，并伴随业务的增长而快速弹性伸缩，企业可以做到按需支付成本。

此外， Hadoop/Spark 大数据生态系统中组件众多，每种组件对硬件资源的要求不同，而传统大数据平台建设中，往往很难兼顾资源需求上的差异。 D1 和其他独享型规格族提供了不同的配置，可以为每个 Hadoop/Spark 组件节点 “ 量体裁衣 ” 来选择实例，最大限度避免资源浪费。

当遇到临时性突发的大数据分析需求时，借助阿里云大数据平台的规模和分析能力，可以快速获得需要的结果，当任务完成后，又能立即释放资源，节省成本。

• 性价比

阿里云 D1 实例采用独享计算架构 + 本地存储设计， CPU 的计算性能在实例间是独享的，这种设计能有效保障大数据计算能力的稳定性。配备高性能企业级 6TB SATA 硬盘， D1 单实例的存储吞吐能力可以达到最大 5GB/s ，有效缩短 HDFS 文件读取和写入时间。

基于阿里云 SDN 和网络加速技术， D1 在 10GE 组网环境下，最大可提供 20Gbps 网络带宽，可满足大数据分析节点间数据交互需求，例如 MapReduce 计算框架下 Shuffle 过程等，缩短分析任务整体运行时间。

最重要的一点是，阿里云在 D1 上做了非常大的交付创新，支持包月、包年的预付费支付模式，同时也支持按小时付费的使用模型，真正做到即开即用，按量付费，没有运维，钱不浪费，云本身的弹性优势就很明显，加上业务上的优化，确实加分不少。

• 可靠性

这次云栖大会，阿里云还推出了一个 ECS 独有的部署集（ Deployment Set ）机制，可以保证用户采用 D1 实例构建大数据平台时，在任何规模下都可以充分将实例按业务可靠性要求，在阿里云数据中心中，进行机架、交换机、可用区等级别容灾保护。

同时，还可以充分享用阿里云全球高效、稳定的机房和网络基础设施，大大降低客户建设复杂度和成本。这在传统模式下是很难做到，既能做到全局的安全性又能做到局部的弹性伸缩，或许，这就是云的终极形态吧。

总之还是非常推荐这款 D1 实例的，中大型企业对大数据处理平台的稳定性、性价比、部署周期都有比较强的要求的可以考虑一下。