专栏名称: 分布式实验室

最专业的Docker文章，最权威的Docker新闻。关注容器生态圈的发展。

数据中台建设与架构 | 留言送书

分布式实验室 · 公众号 · 后端 · 2021-04-18 08:15

正文

不能把数据中台简单看做一个项目或产品，建设数据中台要从战略、认知、组织保障等更高的层面做规划。

持续让数据用起来的价值框架

数据中台的使命就是持续让数据用起来，他的一个根本性创新仅是把“数据资产”作为一个基础要素独立出来，让成为资产的数据作为生产资料融入业务价值创造的过程，持续产生价值。

数据中台作为整个企业各个业务所需数据服务的提供方，通过自身的平台能力和业务对数据的不断滋养（业务数据化），会形成一套高效可靠的数据资产体系和数据服务能力（数据资产化和资产服务化）。这样一来，当出现新的市场变化，需要构建新的前台应用时，数据中台可以迅速提供数据服务（服务业务化），从而敏捷地响应企业的创新。

图1 业务与数据闭环

数据中台必须拥有与企业的设计部门、制造部门、销售部门等同样重要的地位。

数据中台不但是单纯的技术叠加，不是一个技术化的大数据平台，二者有本质区别：大数据平台更关心技术层面的事情，包括研发效率、平台的大数据处理能力等，针对的往往是技术人员;而数据中台的核心是数据服务能力，要结合场景，比如精准营销、风控等，通过服务直接赋能业务应用。数据中台不仅面向技术人员，更需要面向多个部门的业务人员。

企业内部需要形成一张有共识的蓝图：数据是企业的战略资产。

以业务价值为核心，支撑企业战略落地。

数据中台建设方法论

1种战略

数据中台要求整个企业共用一个数据技术平台、共建数据体系、共享数据服务能力。

数据中台不仅是对技术架构的改变，还是对整个企业业务模式的改变，需要企业在组织架构和资源方面给予支持，所以中台是一个企业的战略行动，绝非一个项目组或者一个小团队就能做的。

数据中台是一个“一把手工程”，只有企业的一把手才有这种推理来推动数据中台的建设。数据中台的目标是实现企业经营的数据化、精细化、智能化、本质是建设一套可持续让企业数据用起来的机制。

2项保障条件

首先，中台战略的实施需要有组织保障。与组织对应的是资源与责任，数据中台由谁来建，谁来维护、谁来经营、业务需求怎么承接、效果怎么衡量等问题已经超出IT的范畴，需要企业更高层面对应的组织来保障。

其次，中台战略的实施需要提升全企业的数据意识。数据文化是数据中台战略不可或缺的部分，数据中台的推进依赖于数据文化的建立，反过来，数据文化的沉淀优势数据中台建设的产出。

大数据是一种考虑问题的思维方式，用互联网思维、数据思维来发现问题、解决问题。因此，用一句话来概括数据文化：用数据说话。

提升数据数据意识的方法：

数据采集意识：了解尽可能的数据采集方式，尽可能把有价值的数据通过技术手段记下来
数据标准化意识：减少因数据口径不一致导致的资源浪费
数据使用意识：掌握数据可能的使用方式，知道在实际过程中怎么使用数据，还要打破原有经验，用更高的数据意识来发挥数据对于业务的价值
数据安全意识：安全定级、脱敏

3条目标准则

评分项	评分细则	评分细项描述
数据可见	指标管理的可视化	是否已经具备统一的指标管理能力，如指标的定义、修改、删除和生命周期管理等
	元数据管理的可视化	是否已经针对元数据（如表、字段、分区、任务和标签名等）的可视化管理工具
	数据资产类目的可视化	是否已经具备资产的可视化类目管理，可自由增删改查类目结构和类目下的标签名称或指标名称
	数据源的可视化	是否已经具备对中台所涉及的所有业务数据源的可视化管理，可自由增删
	数据集成的可视化	是否已经具备对业务数据到数据中台的批量或实时集成的可视化操作能力
	数据ETL的可视化	是否已经及具备对数据处理ETL（数据仓库技术）的可视化开发、发布能力
	数据建模的可视化	是否已经具备对数据建模的可视化管理能力，如批量生成指标、模型标准管理等
	数据消费者的可视化	是否已经具备对数据消费方统一管理，包括权限、限速、并发、高可用等
	算法建模的可视化	是否已经具备可拖拽式可视化和Notebook建模方式（工程师可在Notebook中一站式完成数据准备、模型训练、预测等操作）
数据可用	数据内容的可用性	数据内容是否无歧义，符合业务所需的标准和质量要求
	数据服务的可用性	数据已经具备数据服务的快速生成，可通过可视化的形式完成
	数据任务的可用性	数据是否已经具备数据任务的运维能力，可自动重跑、补数据、空跑、自动调整任务资源配比等
	数据的指标化	是否已经把数据定义为指标，企业的日常经营分析依赖于各类BI报表和可视化大屏
	数据的标签化	是否已经把数据定义为标签，标签来源于原始字段，统计类加工后的字段和算法类加工后的字段，企业的数据应用依赖于各类标签体系
	资产（指标或标签）的易阅读性	对于业务人员来说，资产和资产类目是否看得懂，易查找
数据可运营	质量量化管理	否已经可以通过任务失败次数、产出时间稳定性、标签覆盖率等构建质量量化模型，数据研发团队日常根据分值进行优化管理
	价值量化管理	是否已经可以通过任务资源占用情况、表生命周期和最近访问周期等构建价值量化模型，数据研发团队日常已根据分值进行优化管理
	数据运营角色	是否已经配有针对数据本身的运营角色或岗位，该角色通过围绕核心KPI进行数据的质量优化和价值挖掘

4套建设内容

建设内容是数据中台建设的核心，是可呈现的产出物，也是数据中台价值所在，前面的战略措施、保障条件、目标准则都是为了建设内容能够顺利产出并且可以持续发挥价值。数据中台的建设包含技术体系、数据体系、服务体系、运营体系四大体系。其中：

技术体系是基础支撑，数据中台对外呈现的主要内容就是数据体系；
数据体系是数据中台的血肉，是数据中台主要对外呈现的内容；
服务体系是数据中台的价值所在；
运营体系是数据中台的守护者，通过运营体系保证整个中台的健康、持续运转。

技术体系

技术体系分两个层面：大数据存储技术和数据中台工具技术组件，技术体系主要关注点是工具技术组件。

通过工具化、产品化、可视化降低技术门槛，让数据能够更方便地加工使用。

数据体系

数据体系是数据中台建设、管理、使用的核心要素。

需要在中泰工具和建设方法的基础上针对不同的企业建设不同的数据体系。

服务体系

数据中台与大数据平台的最主要区别是数据能更方便地以服务化的方式支撑业务，而这是通过数据中台服务体系实现的。

服务体系是通过数据中台的服务组件能力，把数据变为一种服务能力，让数据能够方便的参与到业务中并为业务带来价值。

数字化转型、数据化经营，就是让业务决策通过数据而不是仅凭经验，需要的正是数据服务能力。

运营体系

运营体系是数据中台得以健康、持续运转的基础。

数据中台是一个持续的过程，一旦启动，就不能暂停，更不能停止，而保障数据中台持续高效运转的就是运营体系。

5个关键步骤

理现状

点对点与各部门沟通，获取企业的产品和服务信息，形成业务现状调研报告，同时了解企业目前已怎样的组织形态来保证客户的服务能力。

详细调研目前企业的IT建设情况和业务数据沉淀情况，比如采用的什么数据库、数据量、数据字段和更新周期等，以便后续设计架构。

立架构

业务架构：保障数据中台能够适用于企业的业务运管模型和流程体系
技术架构：主要是指技术体系中的数据基座，主要根据业务架构近远期规划，对数据的存储和计算进行统一的选型
应用架构：特指数据中台应用架构，后面几个关键步骤的内容所依赖的工具主要由数据中台作为平台应用来承接
组织架构：主要是保证中台项目的顺利落地需要企业考虑的整体组织保障，其中角色有业务人员、IT人员、供应商各相关负责人

建资产

该步骤设计数据汇聚、数据仓库建设、标签体系建设以及应用数据建设，其中最关键的是标签体系建设。

所谓标签体系是面向具体对象构建的全维度数据标签，通过标签体系可以方便的支撑应用，大数据的核心魅力和服务能力就主要体现在标签体系的服务能力上。

用数据

将已经构建的数据资产通过服务化方式，应用到具体的业务中，发挥数据价值。要注意数据安全。

做运营

数据应用于业务后，其产生的价值通过运营的能力不断优化迭代，并让更多的人感知到数据的价值点。

数据中台架构

数据中台是位于底层存储计算平台与上层的数据应用之间的一整套体系。

数据中台屏蔽掉底层存储平台的计算技术复杂性，降低对技术人才的需求，让数据的使用成本更低。

通过数据中台的数据汇聚，数据开发模块建立企业数据资产。

通过资产管理与治理、数据服务把数据资产变为数据服务能力，服务于企业业务。

数据中台建设与架构 | 留言送书

正文

请到「今天看啥」查看全文