一、关于数据标准化
国家数据局局长刘烈宏表示,将建立健全国家数据标准化体制机制,研究成立全国数据标准化技术委员会,统筹指导我国数据标准化工作,加快研究制定一批数据领域国家和行业标准。
刘烈宏说,数据工作是开创性工作,将切实提升创新力,加快数据学科体系和人才队伍建设,选择有较好基础的高校,开展数字经济产教融合合作试点;加强标准引领,印发国家数据标准体系建设指南,指导发布数据要素流通标准化白皮书。
针对数据工作面临的众多新情况新问题,刘烈宏说将切实提升研究力,加强理论研究,做好规划编制,抓紧深入谋划“十五五”时期数据工作主要任务,加快组建国家数据咨询专家委员会,发挥智库作用。
二、什么是数据标准?
数据标准是指企业为保障数据的内外部使用和交换的一致性和准确性而制定的规范性约束。
而数据标准管理则是一套由管理制度、管控流程、技术工具共同组成的体系,是通过这套体系的推广,应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化。
数据标准管理的目标是通过统一的数据标准制定和发布,结合制度约束、系统控制等手段,实现数据的完整性、有效性、一致性、规范性、开放性和共享性管理,为数据资产管理提供管理依据。
数据标准管理的对象可以分为
数据
模型
、
主数据和参考数据
、
指标数据
三大类,每一类均可采用以数据元为数据标准制定的基本单元构建数据标准体系。
基础数据指业务流程中直接产生的,未经过加工和处理的基础业务信息,
模型数据
是指对基础类 数据特征的抽象和描述。
模型数据标准
是为了统一企业业务活动相关数据的一致性和准确性,解决业务间数据一致性和数据整合,按照数据标准管理过程制定的数据标准,模型数据标准也是元数据管理的主要内容之一。
以下是某银行为确保数据标准使用,形成的一整套
模型数据标准
的信息项属性架构:
下图是某运营商数据仓库DWD模型层常用数据元的标准定义示例:
下图是某运营商数据仓库DWD层数据元后缀规范示例:
主数据
是用来描述企业核心业务实体的数据,比如客户、供应商、员工、产品、物料等;它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据,被誉为企业的“黄金数据”。
参考数据
是用于将其他数据进行分类或目录整编的数据,是规定数据元的域值范围。参照数据一般是有国标可以参照的,固定不变的,或者是用于企业内部数据分类的,基本固定不变的数据。主数据与参照数据的标准化是企业数据标准化的核心。
指标类数据
是指具备统计意义的基础类数据,通常由一个或以上的基础数据根据一定的统计规则计算而得到。
指标类数据标准
一般分为基础指标标准和计算指标(又称组合指标)标准。基础指标具有特定业务和经济含义,且仅能通过基础类数据加工获得,计算指标通常由两个以上基础指标计算得出。
以下是某银行为确保指标数据标准定义的完整与严谨,形成的一整套指标数据标准的信息项属性架构:
以“
拨备覆盖率
”指标为例,从数据标准化的角度来看,首先需要定义其业务含义,以明确其定位和用途,统一业务解释;同时通过技术属性明确其指标技术口径和取数规则等,确保指标数据计算结果的一致性。这样,在整个银行层面,统一了“拨备覆盖率”的业务口径和技术口径,最终确立了其使用规范。
指标数据标准可以从
维度
、
规则
和
基础指标
三个方面进行定义:
并非所有
模型数据
、
主数据和参考数据
、
指标数据
都应纳入数据标准的管辖范围。数据标准管辖的数据,通常只需要在各业务条线、各信息系统之间实现共享和交换的数据,以及为满足监控机构、上级主管部门、各级政府部门的数据报送要求而需要的数据。
《数据标准管理实践白皮书》
将数据分为
基础类数据
和
指标类数据
,数据标准也可以分为
基础类数据标准
或
指标类数据标准
,这种划分方法中的基础类数据其实等于模型数据+主数据+参考数据,因此不存在本质的区别。
数据标准管理不但要解决好标准的制定和发布问题,更要解决标准如何落地(这是更重要的,也是更困难的)。企业做好标准体系规划、完成了各项标准的制定只是实现了数据标准管理的第一步,持续地贯标、落标,真正将各项标准应用于数据管理实践并充分发挥作用才是决定成功的关键。为了确保有效落标,除了组织推动、强化管理,还应遵循科学的工作流程,采用合理的技术手段和技术工具,真正实现科学落标、技术落标。
在构建数据标准化体系过程中,既要做好组织、人员和制度流程方面的准备,又要做好统筹规划和整体实施方案设计,确定好总体目标、阶段目标和实施路线图。同时企业要采取科学合理的实施方法,并配备相应技术平台及工具,持续、有效地推进各个阶段的工作任务直至目标达成。
企业数据标准化实施一般分四个阶段,如下图所示。
、
-
建立数据标准化组织体系和认责流程,为数据标准化提供组织保障;
-
建立数据标准化制度规范,为数据标准化提供制度支撑;
-
加强人才培养和配置,为数据标准化提供人资和能力保障;
-
推进数据文化建设,为数据标准化营造良好的环境和氛围。
-
建设技术平台和工具,为数据标准化实施落地提供技术支撑;
-
针对数据标准化各个关键域逐一开展专项实施,确保各项关键目标落地。
数据标准化是企业数据治理的关键基础保障,也是数据治理的重要抓手,利用数据标准化驱动好企业数据治理,持续推动数据治理的成果落地、实现数据价值,才是企业开展数据标准化工作的终极目的。
四、数据
标准如何落标?