云数据湖—构建健壮的云数据架构_老司机聊数据的专栏文章_微信文章

由机械工业出版社出版的O‘REILLY系列《云数据湖-构建健壮的云数据架构》最近大受好评，出版社编辑吕重江老师找到我，希望为本书写推荐。在拜读完后，我认为本书为大家提供了一次有思想的、公正客观的现代数据和分析技术之旅。作者鲁克米尼·戈帕兰不仅揭示了数据湖的基础原则，还使决策者能够理解建立数据湖的重大意义。

本书的前几章重点是介绍了一些关于数据湖概念理论方面知识。例如什么是大数据，什么是云数据湖等等，我想，在如今数据爆炸的时代，不仅是越来越多的人开始重视数据，对数据处理的技术也是日新月异。大数据可能意味着更多的信息，但也意味着更多的虚假信息。云上的大数据架构将解决我们现在比较棘手担忧的问题。另外，第三章重点强调了如何稳健的设计云数据湖架构，也是整本书的重点。

数据是需要管理的。无论你设置了何种的基础设施，甚至将不同的IaaS，PaaS和SaaS产品组成，这些产品被组装成端到端的解决方案，形成我们常常提到的“乐高积木”方案。这些方案依然离不开被装在湖仓里面的数据，数据治理的作用和工作不容忽视。数据的参与者、数据分类、元数据管理、数据目录和数据共享、数据访问管理、数据质量是第三章我们重点需要关注的内容。（书中举例了Klodars公司实施的数据治理，从针对营销的仪表盘构建，到存储的安全性以及数据科学的构建形成了“基于复杂规则和策略的统一数据治理”）。

其次，和大部分市面上有关数据湖仓的书籍不一样的是，本书除了详尽的介绍什么是数据湖，为什么、何时、何地需要迁移，哪些方面可以一起调整，以及它们的利弊。更有针对性的，对不同行业不同企业在所处的不同阶段提供决策框架，让各位读者明智地决定选择哪种数据湖。

从零开始

需要现有平台的

技术债务和文化转变

成熟的数据湖平台—从好到优秀

（本书第七章-168页）

决策框架通过评估、定义、实施和操作四个步骤，评价我们目前在开展的业务和客户需求，并通过这个框架来指导我们的数据湖设计和实施。在读本章节的时候，作者给我们强调的是，我们在构建数据湖时一定要在早期阶段尽职调研确保操作更加顺利。切勿是“大家都这样做，我也这样做的拿来主义”。

本书在最后的附录，贴心的提供了云数据湖决策框架的模板。通过刚才讲到的四个阶段，提供评估的相应问题和要求清单，根据业务驱动因素对需求进行优先级的排序。并将评估的结果进行定义框架，进行技术设计和项目计划。在构建数据湖或者上云的过程中，第三阶段实施框架详实的结合了前面书中提到的，组织规划、数据治理、数据湖成本管理、事件跟踪。

最后，本书并不会一味的去介绍技术层面的内容，而是向读者娓娓道来她在从业过程中，数据启迪未来的一些经验。这些启迪确实能引发人的思考，我们通常理解的先进技术，还有一些前沿理论并没有考虑到客户的应用场景，或者是目前阶段是否能够去借鉴，而是一股脑的生搬硬套。

回归到我们在做的任何数据项目，无论是数据开发，数据产品，数据治理等等。我们往往最忽略的反而是最重要的是—“需求”。拿一个现实生活类比，我们想买家具，我们不会去商店寻找能够使用的电锯的工匠，而只想看合适你的书房或餐厅的桌子。无论是构建数据湖，或者是在从事某项数据治理工作的时候，需求场景一定是我们最先要评估的。技术日新月异，随着时间的推移可能会过时，重要的是在数据湖上运行的方案持久性。本书提出的一个非常宝贵的经验则是： “客户引领技术，而不是技术引领客户” 。（本书第八章-188页）

如果您也是数据架构师、数据开发人员和数据运维专业人员，并希望广泛的了解设置和运营云数据湖的各个方面，不妨将这本《云数据湖》读一读，一定能获得您想要的内容。

- E N D -

❤ 原创不易，喜欢内容就点个赞吧！❤

相

关

推

荐

01 近期热门