专栏名称: 新技术法学
究新技术法理,铸未来法基石
目录
相关文章推荐
宁聚  ·  情况通报 ·  4 小时前  
宁聚  ·  情况通报 ·  4 小时前  
信息时报  ·  涨幅超过黄金!网友:现在还适合入手吗? ·  23 小时前  
信息时报  ·  涨幅超过黄金!网友:现在还适合入手吗? ·  23 小时前  
安徽文旅  ·  春游江淮 千姿百态 | 在九华山坐直升机 ·  2 天前  
安徽文旅  ·  春游江淮 千姿百态 | 在九华山坐直升机 ·  2 天前  
51好读  ›  专栏  ›  新技术法学

数据管理的四大支柱:揭秘数据中台、数据仓库、数据治理和主数据

新技术法学  · 公众号  ·  · 2025-02-16 20:15

正文


来源:数据学堂
全文共 5549 个字 ,建议阅读 8 分钟

数据中台、数据仓库、数据治理和主数据这些概念对于很多人来说仍显得抽象。用一些通俗的语言和生活中的比喻,深入解析这些关键概念。

一、数据中台:数据的“中央厨房”

想象一下,你是一家大型餐厅的厨师长,每天需要处理从不同供应商那里采购的多种食材。为了确保食材的新鲜、卫生与高效利用,建立一个中央厨房就显得尤为重要。这个中央厨房的角色就是数据中台在企业中扮演的角色。

数据中台整合来自不同业务部门、系统和渠道的数据,对其进行清洗、加工和标准化处理,然后再将处理后的数据提供给业务部门使用。就像中央厨房确保食材的质量和一致性,数据中台则确保数据的质量、一致性和可用性,从而更好地支持企业的决策和运营。

数据中台不等于大数据平台,数据中台的核心工作也并不是将企业的数据全部收集起来做汇总就够了。
数据中台的使命是利用大数据技术、通过全局规划来治理好企业的数据资产,让数据使用者能随时随地获取到可靠的数据。因此,数据中台一旦建成并得以持续运营,其价值将随着时间的推移将呈指数级增长。
数据中台建设是一个宏大的工程,涉及整体规划、组织搭建、中台落地与运营等方方面面的工作,本节重点从物理形态上讲述企业的数据中台应该如何搭建。一般来讲,企业的数据中台在物理形态上分为三个大层:工具平台层、数据资产层和数据应用层。
1.1 工具平台层
工具平台层是数据中台的载体,包含大数据处理的基础能力技术,如集数据采集、数据存储、数据计算、数据安全等于一体的大数据平台;还包含建设数据中台的一系列工具,如离线或实时数据研发 工具、数据联通工具、标签计算工具、算法平台工具、数据服务工具及自助分析工具。

以上工具集基本覆盖了数据中台的数据加工过程。
1.2 数据资产层
数据资产层是数据中台的核心层,总体来讲,可以划分为主题域模型区、标签模型区和算法模型区。
①主题域模型
主题域模型是指面向业务分析,将业务过程或维度进行抽象的集合。业务过程可以概括为一个个不可拆分的行为事件,如订单、合同、营销等。
为了保障整个体系的生命力,主题域即数据域需要抽象提炼,并且长期维护和更新,但是不轻易变动。在划分数据域时,既要涵盖当前所有业务的需求,又要保证新业务能够无影响地被包含进已有的数据域中或者很容易扩展新的数据域.
②标签模型
标签模型的设计与主题域模型方法大同小异,同样需要结合业务过程进行设计,需要充分理解业务过程。
标签一般会涉及企业经营过程中的实体对象,如会员、商品、门店、经销商等。这些主体一般来说都穿插在各个业务流程中,比如会员一般都穿插在关注、注册、浏览、下单、评价、服务等环节。那么在设计标签的时候就需要充分理解这些业务流程,在流程中发现标签的应用点,结合这些应用点来搭建企业的标签体系。标签模型按计算模式一般分为客观标签和主观标签。
设计标签模型时非常关键的要素是标签模型一定要具有可扩展性。毕竟标签这种数据资产是需要持续运营的,也是有生命周期的,在运营的过程中随时可能增加新的标签。
③算法模型
算法模型更加贴近业务场景。在设计算法模型的时候要反复推演算法模型使用的场景,包括模型的冷启动等问题。整个模型搭建过程包含定场景、数据源准备、特征工程、模型设计、模型训练、正式上线、参数调整7个环节。
以新零售企业为例,常用的机器学习算法有决策树、神经网络、关联规则、聚类、贝叶斯、支持向量机等。这些算法已经非常成熟,可以用来实现商品个性化推荐、销量预测、流失预测、商品组货优化等新零售场景的算法模型。
1.3 数据应用层

数据应用层严格来说不属于数据中台的范畴,但数据中台的使命就是为业务赋能,几乎所有企业在建设数据中台的同时都已规划好数据应用。 数据应用可按数据使用场景来划分为以下多个使用领域:分析与决策应用、标签应用、智能应用。

二、数据仓库:数据的“图书馆”

假设你是一位图书馆管理员,每天的职责是管理和维护图书馆中的成千上万本书。你必须确保每本书按照类别、作者、出版日期整齐有序地摆放,以方便读者查找和借阅。数据仓库在企业中的作用就像这个图书馆。它存储了大量历史数据和结构化数据,并按照一定的规则和格式进行组织。与数据中台不同,数据仓库更注重数据的长期保存和查询分析,提供强大的数据查询和分析能力,帮助企业深入了解市场、客户和业务流程,从而发现潜在的机会和风险。

一般来说,数据仓库是一个面向主题的、集成的、相对稳定的,并反映历史变化的数据集合,它主要用于支撑管理人员的决策过程。


  • “面向主题”: 意味着数据仓库是围绕企业的具体业务需求进行构建的,旨在提升管理效率;

  • “集成”: 则是指它能够将来自不同平台的数据进行汇总,打破数据孤岛,同时在整合过程中实现数据治理和编码的标准化;
  • “相对稳定”: 强调的是数据仓库不会直接连接到业务系统,而是通过从业务系统中提取数据来工作,以避免对业务系统性能造成影响;
  • “反映历史变化”: 则指的是数据仓库能够存储并反映业务系统的历史数据,为未来的大数据挖掘与分析提供重要依据。


接下来,我们明确“数仓”的概念:

数仓,即数据仓库,是企业决策支持体系中的核心组成部分。 它从管理需求出发,整合各业务系统的数据资源,通过数据处理工具生成数据仓库,并应用于企业的各个业务领域。数据仓库的运用主要聚焦于优化企业的业务流程、监控时间、成本、质量等关键指标,从而助力企业实现更高效、更精准的管理决策。

三、数据治理:数据的“交警”

城市交通中,交警的职责是维护交通秩序,确保车辆和行人遵循交通规则,防止交通拥堵和事故发生。在数据世界中,数据治理就好比这样的交警。数据治理是对数据进行全面管理和规范的过程,确保数据的准确性、一致性、安全性和可用性,同时防止数据滥用和泄露。数据治理还负责制定数据管理的规章制度,监督数据的采集、存储、处理和使用过程,确保数据在整个生命周期中都得到妥善管理。

数据治理体系内容从两个维度来看:

1)数据治理难点痛点:数据脉络不清晰、数据汇聚能力不足、数据管控能力薄弱、数据治理体系不完善、开放形式不完善。

2)数据治理5个核心:理、聚、管、治、用。


数据治理是企业对数据资产管理行使权力和控制的活动集合(包括计划、监督和执行),它是管理企业数据资源的一种方式、方法,旨在确保数据的质量、安全、合规和有效性。数据治理是企业实现数据战略的基础,是一个管理体系,包括组织、制度、流程和工具。



数据治理是一套复杂的管理体系,它无法通过单一的工具或产品来实现。数据的生命周期包含了源头、处理和消费这三个阶段,数据的问题也可能会出现在这三个环节中。


例如在数据源头环节,用户录入数据的规范性存在问题,导致了最终数据消费环节的数据质量低。这些表象问题的根源,可能来自于业务系统用户交互设计,乃至是底层数据库表结构设计上的缺陷。想要解决这些表象的问题,就需要解决深层次的信息化业务系统开发以及数据库表约束设计等问题。


例如为了保证用户录入数据的准确性,有三种方式去设计业务系统:其一是设计前端的检验验证,避免用户做出相同的选择;其二是通过程序编写过滤判断的逻辑,筛除掉前端误入的数据,作为第二层验证;其三是通过建立约束条件,例如唯一性约束、检测约束等等来控制数据录入准确性。


因此,企业的数据治理远非使用一款单一的工具或产品就可以实现的,它是需要回到源头,对企业的组织、流程制度、业务系统、底层架构等多个方面进行排查和重构的,它是一套复杂的管理体系。


四、主数据:数据的“身份证”

最后,我们来谈谈主数据。每个人都有自己的身份证,它是个人身份的证明。在数据世界中,主数据就像是数据的“身份证”。主数据是企业内部最关键、最核心的数据,描述了企业的核心业务实体,如客户、产品、供应商等。主数据具有唯一性和权威性,是企业内部各部门和系统之间共享和交换数据的基础。通过管理和维护好主数据,企业可以确保数据的一致性和准确性,从而提高业务处理效率和决策质量。

主数据是指满足跨部门业务协同需要的,反映核心业务实体状态属性的基础信息。 举个例子,公司的员工信息,存在于很多业务系统里,比如人力系统、财务系统、OA系统,以及考勤系统等,但每个系统所需要的信息可能不一样,财务系统需要员工开放信息,比如从哪个银行开户,账号是什么,这样方便打款;人力系统可能只是需要员工的一些入职信息。



这样的员工信息就属于主数据,它在很多企业业务系统被使用,同时还能反映这个员工本身的一些属性。类比下,还有产品、物料、客商、客户、供应商等主数据。

哪些数据是主数据?

一家企业不只有主数据,还有一些其他数据,这里有一个金字塔结构的企业数据模型,包括关键的基础数据、主数据、业务数据、报表数据。

基础数据可以理解为基本不会发生什么变化的,比如国家货币计量单位,其他维表数据等,其数据就是一些取值范围,也称其为参考数据;主数据就是长期稳定的,能被多个系统使用的,比如组织机构人员、客商等;业务数据是指一些业务交易系统所产生的数据,包括订单的记录、还有一些考勤记录等,与主数据捆绑的比较紧;报表数据是基于下面三类数据做的一些分析呈现,报表数据的主要作用是通过结果呈现来做预测工作。

主数据、业务数据与元数据的区别

如图所示,表头就是元数据,这些字段本身描述了字段的一些属性信息;而主数据其实就是这样的一条记录,这条记录可以划分为两部分,一部分是主数据,描述核心业务实体属性的数据,另外一部分就是主数据在业务交易过程中由系统产生的数据,比如这块的订单数据就是业务数据。总的来说,所有这些数据作为企业的一部分,只要能产生价值,它都可以称之为数据资产,能去支撑企业上层的生产、财务、项目管理等。

主数据的4个特性

(1)唯一性: 在一个系统、一个平台甚至一个企业范围内同一主数据要求具有唯一的识别标志(代码、名称、特征描述等),用以明确区分业务对象、业务范围和业务的具体细节。

(2)共享性: 主数据特征会被作为业务流程的判断条件和数据分析的具体维度层次,因此需保证主数据的关键特征在不同应用、不同系统中的高度一致共享,形成统一规范 。

(3)稳定性: 主数据作为用来描述业务操作对象的关键信息,在业务过程中其识别信息和关键的特征会被交易过程中产生的数据继承、引用、复制,但主数据本身的属性通常不会随交易的过程所被修改。

(4)有效性: 只要该主数据所代表的业务对象仍然在市场中继续存在或仍具有意义,则该主数据就需要在系统中继续保持其有效性,通常贯穿该业务对象在市场上的整个生命周期甚至更长。







请到「今天看啥」查看全文